LLM 용어 정리 — 토큰·컨텍스트 윈도·임베딩·RAG·파인튜닝·에이전트

회의에서 「컨텍스트가 부족해서 그래요」, 「그건 파인튜닝 말고 RAG로 가죠」 같은 말이 오가는데 고개만 끄덕이고 있다면 이 LLM 용어 정리가 도움이 됩니다. 이 글은 생성형 AI 서비스를 기획하거나 도입을 검토하는 직장인이 가장 자주 마주치는 여섯 단어(토큰·컨텍스트 윈도·임베딩·RAG·파인튜닝·에이전트)를 공식 문서의 정의로 정리하고, 실무에서 그 말이 나왔을 때 무엇을 확인해야 하는지까지 짝지어 설명합니다.

핵심 요약 (2026년 10월 기준)

• 토큰은 모델이 글을 처리하는 최소 단위이며, 글자 수와 토큰 수의 비율은 모델과 언어마다 다릅니다(Anthropic 공식 용어집).
• 컨텍스트 윈도는 모델이 답을 만들 때 참고할 수 있는 「작업 기억」의 크기로, 학습 데이터와는 다른 개념입니다.
• 임베딩은 글을 숫자 목록(벡터)으로 바꾼 것이고, 가까운 벡터일수록 뜻이 비슷합니다(OpenAI 공식 문서).
• RAG는 질문할 때마다 관련 문서를 찾아 함께 넣는 방식, 파인튜닝은 모델 자체를 추가 학습시키는 방식입니다.
• 에이전트는 모델이 스스로 도구 사용과 진행 순서를 정하며 목표를 향해 반복 실행하는 구조입니다.

🤖 토큰은 무엇이고 왜 글자 수와 다르게 세나요?

토큰은 언어 모델이 글을 읽고 쓰는 가장 작은 단위이며, 단어 하나일 수도 단어 조각이나 글자 하나일 수도 있습니다. Anthropic 공식 용어집은 토큰 하나가 나타내는 글자 수가 모델과 언어에 따라 달라진다고 설명하고, 이전 세대 Claude 모델에서는 영어 기준 토큰 하나가 약 3.5글자였으며 새 토크나이저를 쓰는 최신 모델은 같은 글에서 약 30% 더 많은 토큰이 나온다고 안내합니다(2026년 10월 확인). 정확한 수는 쓰려는 모델의 토큰 계산 기능으로 직접 세라고 권합니다.

실무에서 토큰이 중요한 이유는 두 가지입니다. API 요금이 대개 입력·출력 토큰 수로 매겨지고, 한 번에 넣을 수 있는 분량의 한도도 토큰으로 정해지기 때문입니다. 같은 내용이라도 언어에 따라 토큰 수가 달라질 수 있으므로, 한국어 문서를 대량으로 처리하는 서비스라면 실제 문서 몇 건으로 토큰 수를 측정해 비용을 추정하는 것이 정확합니다.

📚 컨텍스트 윈도는 모델의 기억력과 같은 말인가요?

절반만 맞습니다. 컨텍스트 윈도는 모델이 지금 답을 만들 때 되돌아보고 참고할 수 있는 글의 양이며, Anthropic 용어집은 이를 모델의 「작업 기억(working memory)」이라고 표현합니다. 모델이 학습한 방대한 데이터와는 별개라는 점이 핵심입니다. 학습으로 얻은 지식은 모델 안에 녹아 있고, 컨텍스트 윈도는 이번 대화에 펼쳐 놓은 책상 위 서류에 가깝습니다.

그래서 「AI가 아까 한 말을 잊었다」는 현상은 대개 대화가 길어져 앞부분이 윈도 밖으로 밀려났거나, 서비스가 긴 대화를 요약해 넣으면서 세부가 빠졌기 때문입니다. 윈도가 크다고 늘 좋은 것도 아닙니다. 넣는 분량이 늘면 처리 비용과 응답 시간이 함께 늘어나므로, 필요한 자료만 골라 넣는 설계가 여전히 중요합니다. 이 「골라 넣기」를 자동화한 것이 뒤에 나올 RAG입니다.

📊 임베딩은 어디에 쓰이는 기술인가요?

임베딩은 글의 의미를 숫자 목록(벡터)으로 바꿔, 뜻이 비슷한 글끼리 가깝게 놓이도록 만드는 기술입니다. OpenAI 공식 문서는 임베딩을 「부동소수점 숫자의 벡터(목록)」로 정의하고, 두 벡터 사이 거리가 가까울수록 관련성이 높다고 설명합니다. 같은 문서가 꼽는 대표 용도는 검색 결과 순위 매기기, 비슷한 글 묶기, 추천, 이상치 찾기, 다양성 측정, 분류입니다.

키워드 검색과의 차이를 예로 들면 분명해집니다. 「연차 쓰는 법」을 키워드로 찾으면 「휴가 신청 절차」라는 제목의 문서는 놓치기 쉽지만, 임베딩으로 찾으면 두 표현의 의미가 가까워 함께 찾아집니다. 사내 문서 검색 챗봇이 질문과 표현이 다른 규정 문서를 찾아내는 원리가 바로 이것이며, 이렇게 만든 벡터를 저장하고 빠르게 찾는 저장소를 벡터 데이터베이스라고 부릅니다.

⚖️ RAG와 파인튜닝은 무엇이 다르고 언제 무엇을 고르나요?

RAG는 질문할 때마다 외부 문서를 찾아 모델에 함께 넣는 방식이고, 파인튜닝은 추가 데이터로 모델 자체를 더 학습시키는 방식입니다. RAG(검색 증강 생성)라는 이름은 패트릭 루이스 등이 2020년 5월 공개하고 NeurIPS 2020에 채택된 논문 「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」에서 널리 알려졌습니다. Anthropic 용어집은 RAG가 최신 정보, 특정 분야 지식, 출처 인용이 필요한 작업에 특히 유용하지만 효과는 연결된 지식 저장소의 품질에 달려 있다고 설명합니다. 같은 용어집은 파인튜닝을 사전 학습된 모델을 추가 데이터로 더 학습시켜 그 데이터의 패턴을 닮게 하는 과정으로 정의합니다.

회사 규정에 답하는 챗봇처럼 「사실을 정확히, 최신으로」가 목표라면 RAG가 먼저 검토 대상입니다. 파인튜닝은 쓸 수 있는 서비스도 제한적입니다. 예를 들어 Anthropic 용어집은 2026년 10월 확인 시점에 Claude API가 파인튜닝을 기본 제공하지 않는다고 적고 있으므로, 도입 전에 쓰려는 서비스의 공식 문서에서 지원 여부부터 확인해야 합니다.

🤖 에이전트는 챗봇과 무엇이 다른가요?

챗봇이 질문 하나에 답 하나를 내고 멈춘다면, 에이전트는 목표를 받아 도구를 쓰고 결과를 확인하며 다음 행동을 스스로 정하는 과정을 반복합니다. Anthropic이 2024년 12월 공개한 글 「Building effective agents」는 미리 정해 둔 코드 경로로 모델과 도구를 엮는 것을 「워크플로」, 모델이 스스로 진행 과정과 도구 사용을 정하는 것을 「에이전트」로 구분합니다.

이 구분은 실무에서 꽤 쓸모가 있습니다. 「매일 아침 뉴스를 모아 요약해 메일로 보낸다」처럼 순서가 늘 같은 일은 워크플로로 충분하고, 「고객 문의를 읽고 필요하면 주문 내역을 조회해 환불 가능 여부를 판단한다」처럼 상황마다 경로가 달라지는 일이 에이전트의 영역입니다. 같은 글은 가장 단순한 해법부터 시작하고 필요할 때만 복잡도를 올리라고 권합니다. 에이전트 설계 요소는 LLM 에이전트란 무엇인가에서 더 자세히 볼 수 있습니다.

🗺️ 회의에서 이 용어가 나오면 무엇을 확인해야 하나요?

용어를 아는 것보다 그 용어 뒤에 숨은 결정 사항을 묻는 것이 실무에서 더 중요합니다. 아래 표는 용어별로 기획자·도입 담당자가 바로 던질 수 있는 확인 질문입니다.

비개발자 관점의 작동 원리가 더 궁금하다면 무료 읽는 강의 생성형 AI와 LLM의 작동 원리(비개발자용)가 좋은 출발점입니다. 임베딩 모델 활용, RAG 개선과 구현, 벡터 데이터베이스 실습까지 개발 관점으로 이어 가려면 처음 배우는 생성형AI 프로그램개발(LLM) 과정의 8개 차시가 이 글의 용어를 차례로 다룹니다.

❓ 자주 묻는 질문

한국어는 영어보다 토큰이 더 많이 나오나요?

모델과 토크나이저에 따라 다르기 때문에 한 가지 비율로 말할 수 없습니다. 공식 문서들도 언어와 모델에 따라 달라진다고만 안내하므로, 실제 업무 문서 몇 건을 해당 모델의 토큰 계산 기능으로 세어 보는 것이 가장 정확합니다.

RAG를 쓰면 환각이 사라지나요?

줄어들 수는 있지만 사라지지는 않습니다. 검색 단계에서 엉뚱한 문서를 가져오거나 문서 자체가 오래되면 그럴듯한 오답이 나옵니다. 답변에 근거 문서를 함께 표시하게 하고, 표본 질문으로 정기 검수하는 장치를 함께 두는 것이 일반적입니다.

컨텍스트 윈도가 크면 RAG가 필요 없지 않나요?

문서가 적다면 통째로 넣는 방식도 가능하지만, 문서가 많아지면 매번 전부 넣는 비용과 응답 시간이 커집니다. 또 윈도 크기와 상관없이 문서가 바뀔 때마다 무엇을 넣을지 관리해야 하므로, 대량·수시 갱신 문서에는 여전히 검색 단계가 쓸모 있습니다.

이 글은 2026년 10월 28일 기준 Anthropic·OpenAI 공식 문서와 arXiv 논문 원문을 확인해 작성했습니다.