프롬프트 설계 — LLM 출력 제어 전략

🎯 학습 목표

이 강을 마치면 다음을 할 수 있습니다.

• 시스템·사용자·어시스턴트 역할을 분리해 대화 맥락을 구조적으로 설정합니다.
• JSON 출력을 강제해 LLM 응답을 다음 노드에서 바로 파싱할 수 있습니다.
• Chain-of-Thought 프롬프트로 복잡한 추론 작업의 정확도를 높입니다.
• Temperature와 Max Tokens 파라미터를 작업 유형에 맞게 조정합니다.

💡 프롬프트 설계가 결과를 결정한다

이 섹션에서는 왜 프롬프트 품질이 AI 자동화의 핵심인지 살펴보겠습니다.

LLM은 마치 능력이 출중한 신입 직원과 같습니다. 능력 자체는 뛰어나지만, 업무 지시가 모호하면 엉뚱한 결과를 냅니다. "이 이메일 정리해줘"라고만 하면 어떤 형식으로, 어떤 기준으로 정리해야 할지 알 수 없습니다. 반면 "당신은 고객 서비스 팀장입니다. 다음 이메일이 환불 요청인지 일반 문의인지 판단해 반드시 JSON으로 답해주세요: {"category": "환불요청" 또는 "일반문의", "reason": "판단 근거 한 줄"}"처럼 구체적으로 지시하면 일관된 형식의 정확한 응답을 받을 수 있습니다.

프롬프트 엔지니어링은 LLM에게 정확하고 일관된 출력을 이끌어내는 기법입니다. 자동화 워크플로우에서는 특히 중요합니다. 사람이 확인하는 일회성 질문과 달리, 자동화는 수천, 수만 번 실행됩니다. LLM 응답 형식이 조금만 달라도 다음 노드의 파싱이 실패합니다. 일관된 출력 형식을 보장하는 프롬프트 설계가 자동화 안정성의 핵심입니다.

🎭 역할 분리 — 시스템·사용자·어시스턴트

이 섹션에서는 OpenAI Chat API의 세 가지 메시지 역할과 그 활용법을 살펴보겠습니다.

OpenAI Chat API는 대화를 세 가지 역할로 구성합니다.

역할	용도	예시
system	AI의 역할·성격·규칙 설정. 대화 전체에 적용	당신은 한국어 요약 전문가입니다. 반드시 한국어로만 답합니다.
user	실제 요청 또는 입력 데이터	다음 기사를 3줄로 요약해주세요: {{ $json.article }}
assistant	AI의 이전 응답 (멀티턴 대화 시 사용)	이전 응답 내용

시스템 프롬프트는 AI의 "취업 계약서"와 같습니다. 이 AI가 어떤 역할을 하는지, 어떤 언어를 사용하는지, 무엇을 절대 해서는 안 되는지를 명시합니다. 시스템 프롬프트를 잘 작성하면 사용자 메시지가 짧아도 AI가 올바르게 행동합니다. 예를 들어 시스템 프롬프트에 "당신은 한국어만 사용합니다. 반드시 JSON 형식으로 답합니다"라고 명시하면, 이후의 모든 사용자 요청에 이 규칙이 자동 적용됩니다.

어시스턴트 역할은 멀티턴 대화(연속 대화)를 구현할 때 사용합니다. 이전 대화 내용을 어시스턴트 역할 메시지로 추가하면 AI가 맥락을 유지합니다. n8n에서는 대화 이력을 DB나 메모리에 저장하고, 다음 요청 시 이를 어시스턴트 메시지로 주입하는 패턴으로 챗봇 자동화를 구현할 수 있습니다.

📦 JSON 출력 강제 — 자동화의 핵심 기법

이 섹션에서는 LLM이 항상 JSON 형식으로 응답하도록 제어하는 방법을 살펴보겠습니다.

자동화에서 LLM 응답을 다음 노드에서 처리하려면 응답 형식이 일관되어야 합니다. 자유로운 텍스트 응답은 파싱이 어렵고 불안정합니다. 해결책은 JSON 출력 강제입니다.

방법 1: 프롬프트에 JSON 형식 명시. 시스템 프롬프트에 "반드시 다음 JSON 형식으로만 답하세요. 다른 텍스트는 절대 출력하지 마세요"라고 명시하고, 원하는 JSON 구조 예시를 포함합니다.

시스템:
당신은 텍스트 분류기입니다. 반드시 아래 JSON 형식으로만 답하세요:
{"category": "환불요청 | 배송문의 | 기술지원 | 기타", "confidence": 0.0-1.0, "reason": "판단 근거"}
다른 텍스트는 절대 출력하지 마세요.

사용자:
{{ $json.customerMessage }}

방법 2: OpenAI JSON Mode 활성화. OpenAI API의 response_format을 {"type": "json_object"}로 설정하면 모델이 반드시 JSON 형식으로 응답합니다. n8n의 OpenAI 노드에서 "Response Format" 옵션을 "JSON"으로 바꾸면 됩니다. 이 방법이 프롬프트만으로 강제하는 것보다 더 안정적입니다.

JSON 응답을 받은 후에는 Code 노드나 Set 노드에서 파싱합니다. OpenAI 노드의 응답은 문자열 형태이므로, Code 노드에서 JSON.parse($input.first().json.message.content)를 실행해 JSON 객체로 변환합니다. 이후 {{ $json.category }}처럼 각 필드에 접근할 수 있습니다.

🧠 Chain-of-Thought 프롬프트

이 섹션에서는 복잡한 추론 작업에서 정확도를 높이는 Chain-of-Thought 기법을 살펴보겠습니다.

Chain-of-Thought(CoT)는 AI에게 최종 답을 바로 요구하는 대신, 단계별로 생각 과정을 서술하도록 유도하는 기법입니다. 사람도 복잡한 계산을 암산하면 실수가 많지만, 종이에 과정을 적으면 정확도가 높아집니다. LLM도 마찬가지입니다. "단계별로 생각하세요" 또는 "Think step by step"이라는 지시만 추가해도 복잡한 추론 정확도가 크게 향상됩니다.

자동화에서 CoT를 적용하는 전형적인 패턴은 다음과 같습니다. 먼저 AI에게 분석 과정을 서술하게 한 다음, 최종 결론만 추출합니다. 시스템 프롬프트 예시: "문제를 분석할 때 반드시 다음 단계를 거치세요. 1단계: 텍스트에서 핵심 키워드를 추출합니다. 2단계: 키워드를 바탕으로 카테고리 후보를 나열합니다. 3단계: 가장 적합한 카테고리와 이유를 선택합니다. 최종 답은 JSON으로 제시하세요."

CoT 프롬프트의 단점은 응답이 길어져 토큰 비용이 증가한다는 것입니다. 분류나 요약처럼 비교적 단순한 작업에는 CoT가 불필요합니다. 계약서 검토, 복잡한 법적·논리적 판단처럼 여러 조건을 고려해야 하는 작업에 사용하십시오.

🎛️ Temperature와 Max Tokens 조정

이 섹션에서는 LLM 출력을 제어하는 주요 파라미터를 살펴보겠습니다.

Temperature는 응답의 다양성(창의성)을 조절합니다. 0에 가까울수록 가장 확률 높은 답을 일관되게 선택하고, 1에 가까울수록 다양하고 예상치 못한 응답을 생성합니다.

Temperature	특성	적합한 작업
0.0 ~ 0.3	일관성 높음, 예측 가능	분류, 추출, 번역, 요약
0.4 ~ 0.7	균형	이메일 초안, 설명 생성
0.8 ~ 1.0	창의성 높음, 다양	마케팅 카피, 아이디어 발상

Max Tokens는 AI 응답의 최대 길이를 제한합니다. 짧은 분류 작업에 1,000 토큰을 허용하는 것은 낭비입니다. 분류 태스크라면 50~100 토큰으로 충분합니다. Max Tokens를 적절히 설정하면 비용을 줄이고, AI가 불필요하게 긴 응답을 생성하는 것을 방지합니다. JSON 출력 강제 시 원하는 JSON 구조의 최대 길이를 추정해 여유 있게 설정하십시오.

📝 핵심 요약

기법	핵심 내용
역할 분리	system으로 AI 역할·규칙 설정, user로 실제 요청 전달
JSON 출력 강제	시스템 프롬프트 + JSON Mode. 자동화 파싱 안정성 핵심
Chain-of-Thought	단계별 사고 유도. 복잡한 추론 정확도 향상
Temperature	분류·추출은 0.1~0.3, 창작은 0.7~1.0
Max Tokens	작업 유형에 맞게 최소한으로. 비용 제어

다음 강에서는 이 프롬프트 기법들을 실제로 적용한 텍스트 자동화를 살펴봅니다. 요약·분류·번역 세 가지 워크플로우를 직접 구현하며 AI 자동화의 실전 감각을 기릅니다.