3강. 생성형 AI와 LLM의 작동 원리(비개발자용) | 기업 AI 도입·AX 실무 가이드 30강 · 중급 · 기획자·관리자 — 누구나패스

🎯 학습 목표

대규모 언어 모델(LLM)의 학습과 추론이 무엇인지, 왜 “다음 토큰 예측”이라고 부르는지 설명할 수 있다.
토큰·컨텍스트 창·지식 컷오프가 업무 설계와 비용에 어떤 영향을 주는지 말할 수 있다.
프롬프트 설계, RAG, 파인튜닝, 도구 사용·에이전트를 비교하고 상황에 맞게 고를 수 있다.
모델을 고를 때 공식 문서에서 확인할 항목을 목록으로 정리할 수 있다.

🧠 LLM은 어떻게 만들어지고 어떻게 답하나

오늘날 대부분의 생성형 언어 모델은 2017년 논문 「Attention Is All You Need」가 제안한 트랜스포머(Transformer) 구조를 바탕으로 한다. 기획자가 수식을 알 필요는 없지만, 두 단계는 구분해 두어야 한다.

단계	무엇을 하나	기업 입장에서의 의미
학습(training)	방대한 글을 읽으며 “앞 문맥 다음에 어떤 토큰이 올지”를 맞히도록 수많은 내부 값(매개변수)을 조정. 이후 지시를 따르고 안전하게 답하도록 추가 학습	막대한 비용이 들어 대부분의 기업은 직접 하지 않고, 공급사가 만든 모델을 빌려 쓴다
추론(inference)	학습이 끝난 모델에 질문을 넣으면 다음 토큰을 하나씩 골라 이어 붙이며 답을 만듦	기업이 매일 쓰는 단계. 사용량(토큰)만큼 비용이 발생

핵심은 모델이 답을 “찾아오는” 것이 아니라 “만들어 낸다”는 점이다. 데이터베이스처럼 저장된 사실을 꺼내는 구조가 아니므로, 근거 자료를 함께 주지 않으면 그럴듯한 오답(2강의 환각)이 나올 수 있다.

토큰과 컨텍스트 창

토큰은 모델이 글을 처리하는 단위로, 단어보다 작은 조각인 경우가 많다. 같은 뜻의 문장이라도 언어와 표현에 따라 토큰 수가 달라지므로, 한국어 문서의 비용·길이는 공급사가 제공하는 토큰 계산 도구로 실측해야 정확하다.

컨텍스트 창은 모델이 한 번에 참고할 수 있는 글의 총량이다. Anthropic의 공식 문서는 컨텍스트 창을 “응답 자체를 포함해, 언어 모델이 응답을 만들 때 참고할 수 있는 모든 텍스트”로 정의하고, 시스템 지시문·대화 기록·첨부 문서·도구 정의와 모델이 생성한 출력까지 모두 이 한도에 포함된다고 설명한다. 같은 문서는 “토큰이 많아질수록 정확도와 기억(recall)이 떨어지는” 현상(context rot)도 지적한다. 즉 창이 크다고 자료를 많이 넣을수록 좋은 것은 아니다. 필요한 내용을 골라 넣는 설계가 중요하다.

지식 컷오프

모델은 학습 데이터를 모은 시점 이후의 일을 모른다. 이 시점을 지식 컷오프라고 하며, 공급사는 모델별로 공식 문서에 밝힌다. 법령 개정·가격·조직 개편처럼 자주 바뀌는 정보는 모델의 기억에 기대지 말고, 최신 문서를 함께 넣거나 검색 도구를 연결해야 한다.

토큰 계산 예

사내 질의응답 서비스가 한 번 질문할 때 지시문 1,000토큰, 검색해 붙이는 규정 문서 4,000토큰, 질문 200토큰을 넣고 답변으로 600토큰을 받는다고 하자.

1회 입력 = 1,000 + 4,000 + 200 = 5,200토큰, 출력 = 600토큰
하루 500회 × 월 22일 = 월 11,000회
월 입력 = 5,200 × 11,000 = 57,200,000토큰(5,720만), 월 출력 = 600 × 11,000 = 6,600,000토큰(660만)

입력의 77%(4,000 ÷ 5,200)가 붙인 문서다. 문서를 잘게 나눠 관련 부분만 2,000토큰으로 줄이면 1회 입력은 3,200토큰, 월 입력은 3,520만 토큰으로 약 38% 줄어든다. 공급사의 토큰 단가는 수시로 바뀌므로 비용은 공식 가격표의 현재 단가를 곱해 계산한다(5강).

🔧 모델을 업무에 맞추는 네 가지 방법

범용 모델을 우리 업무에 맞추는 방법은 크게 넷이다. 비용과 난이도가 낮은 것부터 시도하는 것이 원칙이다.

방법	원리	잘 맞는 경우	한계·주의
프롬프트 설계	지시문에 역할·형식·예시·금지 사항을 적음	문서 초안, 요약, 형식 맞추기	사내 고유 지식은 해결 못 함
RAG(검색 증강 생성)	질문과 관련된 사내 문서를 검색해 답변 근거로 함께 넣음. 2020년 Lewis 등의 논문이 제안한 방식	규정·매뉴얼·상품 정보 질의응답, 자주 바뀌는 정보	검색이 틀리면 답도 틀림. 문서 정리·권한 관리가 성패를 좌우
파인튜닝(추가 학습)	우리 데이터로 모델을 더 학습시켜 말투·형식·특정 판단을 익히게 함	정해진 형식의 대량 반복 작업, 특수 용어	학습 데이터 준비 부담, 모델 교체 시 재작업. 최신 사실 주입 용도로는 비효율
도구 사용·에이전트	모델이 검색·계산·사내 시스템 조회 같은 도구를 호출하고, 여러 단계를 스스로 이어 감	조회→판단→작성이 이어지는 업무, 반복 업무 자동화	잘못된 실행이 연쇄될 수 있음. 권한 최소화·승인 단계·실행 기록 필수

RAG의 품질을 좌우하는 것은 문서 준비

사내 질의응답을 RAG로 만들 때 결과가 나쁘면 흔히 모델을 탓하지만, 원인은 문서 쪽에 있는 경우가 많다. 착수 전에 세 가지를 점검한다.

최신본 하나만 남기기: 같은 규정의 옛 버전이 함께 검색되면 모델이 옛 내용을 근거로 답한다. 문서마다 시행일·버전을 표시하고 폐기본은 검색 대상에서 뺀다.
검색되기 좋은 형태로 나누기: 수백 쪽짜리 파일을 통째로 넣기보다 조항·절 단위로 나누고 제목을 붙이면 관련 부분만 정확히 찾아온다.
권한 그대로 따르기: 인사·급여 문서처럼 열람 권한이 제한된 자료는 질문한 사람의 권한에 맞는 문서만 검색되도록 해야 한다. 이를 놓치면 AI가 볼 수 없어야 할 정보를 요약해 보여 줄 수 있다.

답변 화면에 근거 문서 이름과 해당 조항을 함께 보여 주면 사용자가 바로 원문을 대조할 수 있어 신뢰와 검수 속도가 함께 올라간다.

현장에서 가장 흔한 오해는 “우리 회사 지식을 가르치려면 파인튜닝”이라는 생각이다. 자주 바뀌는 사실 정보는 RAG로 근거 문서를 붙이는 편이 갱신이 쉽고 출처 표시도 가능하다. 파인튜닝은 “무엇을 아느냐”보다 “어떻게 쓰느냐(형식·말투·판단 방식)”를 바꾸는 데 더 적합하다.

🧰 바로 쓰는 도구 — 모델·방식 선택 확인표

① 방식 고르기 질문 (위에서부터 “예”가 나오는 첫 칸을 시작점으로)

질문	예라면
지시문만 잘 써도 원하는 품질이 나오는가	프롬프트 설계로 시작
사내 문서·최신 정보를 근거로 답해야 하는가	RAG 추가
정해진 형식·말투를 수천 건 일관되게 지켜야 하고, 프롬프트로는 부족한가	파인튜닝 검토
답변을 넘어 조회·입력 같은 실행까지 해야 하는가	도구 사용·에이전트(권한·승인 설계 포함)

② 모델을 고를 때 공식 문서에서 확인할 항목

컨텍스트 창 크기와 1회 최대 출력 길이
지식 컷오프 시점
입력·출력 토큰 단가와 장문 요청 시 별도 요금 여부(가격표의 작성일 확인)
지원 기능: 이미지·문서 입력, 도구 호출, 구조화 출력
데이터 처리 정책: 입력 데이터의 학습 사용 여부, 보관 기간, 처리 지역
모델 지원 종료(deprecation) 일정과 대체 모델 안내
사용량 한도와 응답 속도
우리 업무 샘플 30~50건으로 직접 시험한 결과(공식 벤치마크 점수만으로 결정하지 않기)

⚠️ 흔한 실수와 오해

“AI가 인터넷을 다 알고 있다.” 기본 모델은 지식 컷오프 이후를 모르고, 검색 도구가 연결되지 않으면 최신 정보를 확인하지 못한다.
“컨텍스트 창이 크니 자료를 통째로 넣자.” 비용이 커지고 정확도가 떨어질 수 있다. 관련 부분만 골라 넣는다.
“파인튜닝하면 환각이 없어진다.” 추가 학습으로도 사실 오류는 남는다. 근거 문서 제시와 검토가 여전히 필요하다.
“에이전트에게 모든 권한을 주면 편하다.” 필요한 시스템·작업만 허용하고, 돈·고객·외부 발송이 걸린 실행은 사람 승인을 거친다.
“벤치마크 1위 모델이 우리에게도 최고다.” 업무·언어·문서 양식에 따라 결과가 다르다. 우리 데이터로 시험한다.

✏️ 확인 문제

LLM이 답변을 만들 때 실제로 하는 일을 가장 잘 설명한 것은? ① 저장된 정답을 검색해 꺼낸다 ② 문맥 다음에 올 토큰을 하나씩 골라 이어 붙인다 ③ 사람이 미리 써 둔 답을 고른다 정답 ② — 그래서 근거 자료 없이 물으면 그럴듯한 오답이 나올 수 있다.
매달 바뀌는 상품 약관을 근거로 상담 답변을 해야 한다. 가장 먼저 검토할 방식은? 정답 RAG — 최신 약관 문서를 검색해 근거로 붙이면 갱신이 쉽고 출처를 함께 보여 줄 수 있다. 파인튜닝은 바뀔 때마다 재학습이 필요하다.
1회 입력 5,200토큰에서 붙이는 문서를 4,000토큰에서 2,000토큰으로 줄였다. 1회 입력은 몇 % 줄어드는가? 소수 첫째 자리까지. 정답 약 38.5% — (5,200 − 3,200) ÷ 5,200 = 0.3846.
Anthropic 공식 문서 기준으로, 모델이 생성한 답변(출력)은 컨텍스트 창 한도에 포함되는가? 정답 포함된다 — 시스템 지시문·대화·첨부·도구 정의와 함께 출력도 한도에 들어간다.
에이전트가 고객에게 환불 처리 메일을 자동 발송하도록 설계하려 한다. 가장 먼저 넣어야 할 통제는? 정답 발송 전 사람 승인과 최소 권한 — 돈·고객이 걸린 실행은 잘못될 때 피해가 크므로 승인 단계와 실행 기록을 둔다.

📝 핵심 요약과 다음 강 예고

LLM은 학습으로 언어 패턴을 익히고, 추론에서 다음 토큰을 이어 붙여 답을 만든다. 답을 “찾는” 것이 아니라 “만든다”.
토큰은 비용과 길이의 단위, 컨텍스트 창은 한 번에 참고하는 총량이다. 많이 넣는 것보다 골라 넣는 것이 중요하다.
맞춤 방법은 프롬프트 → RAG → 파인튜닝 → 도구·에이전트 순으로 비용·난이도가 커진다. 사실 정보는 RAG, 형식·말투는 파인튜닝이 어울린다.
모델 선택은 공식 문서 항목 확인과 우리 업무 샘플 시험으로 한다.

다음 4강에서는 이 이해를 바탕으로 “어느 업무부터 할 것인가”를 정한다. 업무 인벤토리, 가치×실현 가능성 평가, 데이터 준비도 점검, 과제 정의서 양식을 다룬다.

생성형 AI와 LLM의 작동 원리(비개발자용)