AI가 자신 있게 틀릴 때 알아채는 힘 — 결과 검증 역량 기르는 법

2023년 6월, 미국 뉴욕 남부연방지방법원은 변호사 두 명과 소속 법무법인에 5,000달러의 제재금을 부과했습니다(Mata v. Avianca 사건). 이들이 법원에 낸 서면에는 판례 여섯 건이 인용돼 있었는데, 그중 어느 것도 실제로 존재하지 않았습니다. ChatGPT가 사건명과 판결 요지까지 그럴듯하게 만들어 낸 것이었습니다. 문제는 AI가 틀렸다는 사실보다, 틀린 내용이 너무 자신 있고 매끄러워서 전문가조차 확인하지 않고 넘겼다는 데 있었습니다.

AI의 답을 업무에 쓰는 사람이라면 누구에게나 필요한 힘이 바로 이것, 결과 검증 역량입니다. AI가 자신 있게 틀린 곳을 알아채고, 어디를 어떻게 확인할지 아는 능력입니다.

🕰️ 매끄러운 문장일수록 한 번 더 봐야 하는 이유

생성형 AI는 사실을 찾아 옮기는 검색기가 아니라, 문맥상 가장 그럴듯한 다음 단어를 이어 붙이는 방식으로 문장을 만듭니다. 그래서 모르는 내용도 "모른다"고 하기보다 있을 법한 형태로 채우는 경향이 있고, 이것을 흔히 환각(hallucination)이라고 부릅니다. 문장이 유창하다는 것은 내용이 맞다는 증거가 되지 못합니다.

이 현상은 특정 도구만의 문제가 아닙니다. 유럽방송연맹(EBU)과 BBC가 2025년 10월 발표한 「News Integrity in AI Assistants」 연구에서는 18개국 22개 공영방송 기자들이 ChatGPT·Copilot·Gemini·Perplexity의 뉴스 관련 답변 3,000여 건을 평가했습니다. 그 결과 답변의 45%에 중대한 문제가 하나 이상 있었고, 31%는 출처 표시에 문제가 있었으며, 20%는 지어낸 세부 내용이나 낡은 정보 같은 정확성 문제를 안고 있었습니다.

2025년에는 컨설팅 기업 딜로이트 호주 법인이 정부에 제출한 보고서에서 존재하지 않는 학술 논문 인용과 법원 판결문의 가짜 인용이 발견돼, 수정본을 내고 계약금 일부를 환불하기로 한 일도 있었습니다. 수정본에는 생성형 AI를 작성에 활용했다는 사실이 추가로 명시됐습니다. 전문 조직의 검토 절차도 AI가 만든 "그럴듯한 인용"을 걸러 내지 못한 사례입니다.

⚠️ 기억할 점 — AI의 오류는 어색한 문장으로 드러나지 않습니다. 오히려 형식이 완벽할수록 사람의 경계가 풀립니다. 검증은 "이상해 보이는 곳"이 아니라 "틀리면 안 되는 곳"을 기준으로 해야 합니다.

⚠️ 환각이 잘 생기는 다섯 자리

모든 문장을 원문과 대조할 수는 없습니다. 효율적인 검증은 오류가 자주 생기고, 틀렸을 때 피해가 큰 자리를 먼저 보는 것입니다. 앞의 사례들에서 문제가 된 곳을 보면 공통 패턴이 있습니다.

자리	왜 틀리기 쉬운가	확인 방법
수치	비슷한 맥락의 다른 숫자가 섞이거나, 단위·기준 연도가 바뀜	발표 기관의 원 보고서에서 숫자와 조사 대상·연도를 함께 확인
날짜	학습 시점 이후 바뀐 정보를 모름, 작성 시점과 현재를 혼동	공식 발표문·보도자료에서 날짜와 최신 여부 확인
인용	말한 사람의 취지를 "있을 법한 문장"으로 재구성	원문에서 따옴표 안 문장을 그대로 검색
출처	논문 제목·저자·링크를 형식만 맞춰 생성	링크를 직접 열고, 그 문서에 해당 내용이 실제로 있는지 확인
고유명사	이름이 비슷한 인물·기관·제품의 정보가 섞임	공식 홈페이지·프로필에서 직함·소속·명칭 확인

다섯 자리의 공통점은 문장의 흐름과 무관하게 정답이 하나로 정해져 있다는 것입니다. 설명이나 요약은 표현이 달라도 괜찮지만, 연구자의 이름이나 발표 연도는 틀리면 그냥 틀린 것입니다. 초안을 받으면 이 다섯 자리에 형광펜을 긋는다는 생각으로 훑어보는 것만으로도 검증의 대부분이 시작됩니다.

🔍 확인하는 사람의 세 가지 습관

① 원문 대조 — 요약보다 원문이 먼저

AI가 문서를 요약해 줬다면, 요약에서 핵심 결론 한두 개를 골라 원문에서 해당 문장을 찾아봅니다. 찾을 수 없다면 요약 과정에서 추론이 덧붙었을 가능성이 큽니다. 특히 원문에는 조건이 붙어 있는데 요약에서는 조건이 빠진 경우("일부 부서에 한해"가 사라지는 식)를 주의해서 봅니다.

② 근거를 함께 요청하기

처음부터 요청에 "각 주장마다 근거가 된 문장을 원문에서 그대로 인용하고, 근거가 없으면 '근거 없음'이라고 표시해 줘"를 넣으면 확인할 곳이 눈에 보입니다. 다만 AI가 제시한 근거 자체도 만들어졌을 수 있으므로, 이 방법은 검증을 대신하는 것이 아니라 검증할 위치를 좁히는 것입니다.

③ 결론이 기댄 근거를 직접 찾기

가장 중요한 습관입니다. 결과물의 결론 문장을 하나 고르고, "이 결론이 무너지려면 어떤 사실이 틀려야 하는가?"를 묻습니다. 예를 들어 "A 교육 방식이 효과적이다"라는 결론이 특정 연구 한 건에 기대고 있다면, 그 연구를 직접 찾아 대상과 조건이 우리 상황과 맞는지 봅니다. 모든 문장이 아니라 결론을 떠받치는 기둥만 확인해도 검증의 효율이 크게 오릅니다.

결과물의 쓰임	검증 수준	최소한 할 일
나 혼자 보는 아이디어 메모	가볍게	사실처럼 보이는 문장에 "확인 전" 표시
팀 내부 공유 자료	핵심만	결론을 떠받치는 수치·출처 원문 대조
고객·외부 기관에 나가는 문서	전수	다섯 자리 전체 확인 + 다른 사람의 2차 검토

🧭 "나는 잘 확인한다"는 느낌을 믿기 어려운 이유

검증 역량이 까다로운 이유는 스스로 부족함을 느끼기 어렵다는 점입니다. 핀란드 알토대 연구팀이 2025년 10월 학술지 Computers in Human Behavior에 발표한 연구에서는 약 500명이 미국 로스쿨 입학시험(LSAT)의 논리 문제를 풀었습니다. ChatGPT를 쓴 사람들은 점수가 올랐지만 자기 성과를 일관되게 과대평가했고, 스스로 AI를 잘 안다고 여기는 사람일수록 과대평가가 컸습니다. 연구진은 현재의 AI 도구가 사용자의 메타인지, 즉 자기 실수를 알아차리는 힘을 길러 주지 못한다고 지적했습니다.

이 결과는 업무 현장에 그대로 적용됩니다. AI를 자주 쓰고 결과가 대체로 괜찮았던 경험이 쌓일수록 확인 단계를 건너뛰기 쉬워집니다. 한국은행 이슈노트(2025년 8월)에 따르면 국내 근로자의 생성형 AI 업무 활용률은 51.8%이고, 하루 1시간 이상 쓰는 비중은 78.6%로 조사됐습니다. 사용 시간이 길어진 만큼, 확인하지 않고 넘어가는 결과물도 늘어날 수 있습니다.

📌 핵심 — 검증 역량은 "얼마나 조심스러운 성격인가"가 아니라 "어디를 확인해야 하는지 아는가"의 문제입니다. 그래서 체감이 아니라 실제 판단으로 확인해 볼 필요가 있습니다.

📊 역량평가는 검증 습관을 어떻게 드러내나

누구나패스의 무료 AI 역량평가는 결과 검증을 6개 역량(AI 이해·요청 설계·업무 적용·결과 검증·안전·윤리·도구·자동화) 중 하나로 따로 봅니다. 역량마다 최근 경험을 기준으로 답하는 "나의 활용 모습" 자기평가 2문항과, 실무 상황에서 더 나은 방법을 고르는 판단 문제 3문항이 있습니다. 판단 문제의 선택지는 모두 실무자가 실제로 택할 법한 방법이라 "조심하는 척하는 답"을 고르는 눈치로는 풀기 어렵게 설계돼 있습니다.

알토대 연구가 보여 준 "체감과 실제의 차이"를 확인하는 장치도 있습니다.

• 자기평가 vs 판단 문제 비교 — 두 결과의 차이가 50%p 이상이면 "사각지대 가능성" 또는 "숨은 역량", 25%p 이상이면 "차이 주의"로 표시합니다.
• 프로필 4유형 — 자기평가 평균과 판단 문제 정답률을 각각 60% 기준으로 나눠 실전 숙련형·경험 선행형·이론 선행형·첫걸음형으로 보여 줍니다. 스스로는 잘 쓴다고 평가했지만 판단을 놓친 경우가 "경험 선행형"입니다.
• 핵심 인사이트 — 답변 조합에 따라 "빠르지만 검증 없는 활용" 같은 패턴을 짚어 줍니다.

역량 점수는 자기평가 50점과 판단 문제 50점을 합산하고, 총점은 6개 역량의 평균입니다. 다만 역량마다 판단 문제가 3개라 한 문제 차이로 점수가 크게 달라질 수 있어, 리포트도 점수 자체보다 무엇을 놓쳤는지를 보라고 안내합니다.

🚀 결과를 받은 뒤: 검증 습관 만들기 체크리스트

평가 리포트의 판단 문제 해설에는 문제마다 핵심 원칙 한 줄과, 선택지별로 왜 맞고 왜 부족한지가 정리돼 있습니다. 결과 검증 역량이 낮게 나왔다면 해설을 읽은 뒤 아래 순서로 습관을 만들어 보세요.

1. 이번 주 AI 결과물 3개를 골라 다섯 자리(수치·날짜·인용·출처·고유명사)에 표시하고, 실제로 확인한 개수와 틀린 개수를 적습니다.
2. 자주 쓰는 요청문 끝에 한 줄을 추가합니다. "근거가 된 원문 문장을 함께 제시하고, 확실하지 않은 내용은 따로 표시해 줘."
3. 외부로 나가는 문서는 쓰임별 검증 수준 표를 기준으로 2차 검토자를 정합니다.
4. 리포트의 8주 학습 로드맵에서 1~2주 차 과제(가장 낮은 두 역량의 기초)부터 시작합니다. 공개 중인 강의 링크가 함께 제공됩니다.
5. 4주 뒤 같은 결과물 점검을 반복해, 확인한 곳과 놓친 곳의 비율이 어떻게 바뀌었는지 스스로 비교합니다.

개인과 조직에 남는 것

개인에게는 "AI가 쓴 걸 믿어도 되나?"라는 막연한 불안이 "이 문서는 이 세 곳만 확인하면 된다"는 구체적 판단으로 바뀝니다. 조직에서는 검증이 개인의 성실함에 기대던 상태에서 정해진 절차로 옮겨 갑니다. 팀 단위로 틀린 수치·없는 출처를 거르는 확인 절차가 있는지 점검하고 싶다면, 조직용 무료 AI 도입 진단의 "조직 역량·격차" 영역이 바로 이 항목을 다룹니다. 12문항 약 5분이면 확인 절차를 포함한 4개 영역의 현재 상태와 90일 실행 로드맵을 받을 수 있습니다.

❓ 자주 묻는 질문

Q1. 유료 AI나 검색 기능이 있는 AI를 쓰면 환각이 없나요?

줄어들 수는 있지만 사라지지 않습니다. EBU·BBC 연구에서도 검색 기능을 갖춘 도구를 포함한 여러 AI 도구의 답변에서 출처 표시 문제가 확인됐습니다. 링크가 붙어 있어도 그 문서에 해당 내용이 실제로 있는지 열어 보는 것이 필요합니다.

Q2. AI에게 "사실인지 다시 확인해 줘"라고 하면 충분한가요?

도움은 되지만 충분하지 않습니다. 같은 AI가 스스로 만든 오류를 다시 그럴듯하게 정당화할 수 있기 때문입니다. 최종 확인은 원문과 공식 자료로 사람이 해야 합니다.

Q3. 모든 결과를 다 확인하면 AI를 쓰는 의미가 없지 않나요?

그래서 쓰임에 따라 검증 수준을 나눕니다. 혼자 보는 메모는 가볍게, 외부 문서는 꼼꼼하게 확인하고, 초안 작성 시간을 줄인 만큼 일부를 검증에 쓰는 구조가 현실적입니다.

Q4. 역량평가 결과는 어디에 저장되나요?

회원가입 없이 무료로 진행되며 답변은 데이터베이스에 저장하지 않습니다. 결과 링크에는 선택한 직무와 답변만 담기고, 리포트는 PDF로 저장할 수 있습니다.

Q5. 팀원들의 검증 습관을 함께 기르고 싶다면?

각자 역량평가로 사각지대를 확인하고, 조직 단위의 확인 절차는 AI 도입 진단으로 점검한 뒤 출강 교육 문의로 팀에 맞는 과정을 상담할 수 있습니다.

📎 출처

• Mata v. Avianca, Inc., No. 22-cv-1461 (S.D.N.Y. 2023.6.22) 제재 결정 — Justia
• EBU·BBC, 「News Integrity in AI Assistants」 (2025.10) — ebu.ch
• Deloitte 호주 보고서 부분 환불 보도 (2025.10) — Fortune
• Aalto University, "AI use makes us overestimate our cognitive performance" (2025.10, Computers in Human Behavior) — aalto.fi
• 한국은행, BOK 이슈노트 제2025-22호 「AI의 빠른 확산과 생산성 효과: 가계조사를 바탕으로」 (2025.8.18) — bok.or.kr