AI 역량평가의 사각지대와 숨은 역량 — 자기평가와 실제 판단의 차이 읽는 법

2023년 하버드경영대학원·와튼·MIT 연구진이 보스턴컨설팅그룹(BCG) 컨설턴트 758명을 대상으로 한 현장 실험에는 기억해 둘 만한 장면이 있습니다. AI가 잘하는 과제에서는 AI를 쓴 그룹의 성과가 크게 좋아졌지만, AI의 능력 경계 바깥에 일부러 배치한 과제에서는 AI를 쓴 컨설턴트가 쓰지 않은 컨설턴트보다 정답을 낼 가능성이 19%p 낮았습니다(Dell'Acqua 외, 2023). 능력이 부족한 사람들이 아니었습니다. AI가 잘하는 곳과 못하는 곳의 경계가 들쭉날쭉한데, 그 경계를 감으로 판단했기 때문입니다. 무료 AI 역량평가 리포트의 "사각지대 가능성"과 "숨은 역량" 표시는 바로 이 "감과 실제의 어긋남"을 개인 단위로 보여 주려는 장치입니다.

🔍 자기평가와 실제 판단은 왜 어긋나는가

자기 실력을 잘못 읽는 현상은 AI 이전부터 연구됐습니다. Kruger와 Dunning(1999, Journal of Personality and Social Psychology)의 실험에서 문법·논리 시험 하위 25% 참가자는 실제로 12번째 백분위였는데 자신을 62번째 백분위로 추정했습니다. 연구진은 원인을 "메타인지", 즉 맞고 틀린 것을 구별하는 능력의 부족에서 찾았습니다. 틀린 줄 모르면 자신감이 줄지 않습니다. 반대로 상위권은 자기 순위를 실제보다 낮게 보는 경향을 보였습니다. 이 효과가 통계적 착시(평균 회귀)로 상당 부분 설명된다는 반론도 있어 과도하게 일반화할 필요는 없지만, "자기 인식과 실제 사이에 체계적인 틈이 생길 수 있다"는 점은 여러 연구가 공통으로 보여 줍니다.

AI는 이 틈을 넓힐 수 있습니다. 알토대(Aalto University) 연구(2025, Computers in Human Behavior)에서는 약 500명이 ChatGPT를 쓰며 논리 문제를 풀었을 때 점수는 올랐지만 자기 성과를 일관되게 과대평가했고, AI를 잘 안다고 여길수록 과대평가가 컸습니다. 결과물이 매끄러우면 "내가 잘 해냈다"는 느낌이 함께 커지는 셈입니다.

⚠️ 사각지대가 위험한 이유 — 자신 있는 영역일수록 확인을 건너뛴다

사각지대의 진짜 문제는 점수가 아니라 행동입니다. 마이크로소프트 리서치와 카네기멜런대가 CHI 2025에서 발표한 연구(지식근로자 319명, 실제 업무 사례 936건)는 생성형 AI에 대한 신뢰가 높을수록 비판적 사고를 덜 발휘하고, 반대로 그 과제에 대한 본인의 자신감이 높을수록 더 발휘한다고 보고했습니다. 같은 연구는 AI를 쓸 때 비판적 사고의 무게가 "직접 만들기"에서 "정보 검증·결과 통합·과제 책임지기"로 옮겨 간다고 설명합니다.

이를 역량평가 구조에 대입하면 사각지대의 의미가 선명해집니다. 행동 자기평가는 높고 판단 문제에서 많이 놓쳤다면, 그 사람은 해당 영역에서 이미 AI를 자주 쓰고 있고, 스스로 잘한다고 느끼며, 그래서 확인 단계를 줄였을 가능성이 있습니다. 모르는 영역에서는 조심하지만, 익숙하다고 느끼는 영역에서는 검토 없이 넘어가기 쉽습니다. Dell'Acqua 연구의 19%p 하락도 "AI가 이것도 잘하겠지"라는 익숙함에서 나왔습니다.

⚠️ 사각지대의 핵심 — 모르는 것은 위험하지 않습니다. 모른다는 걸 알면 확인하니까요. 위험한 것은 "안다고 느끼는데 실제로는 놓치고 있는" 영역이며, 그 영역은 스스로 잘 보이지 않습니다.

📊 50%p·25%p 표시는 어떻게 붙나

무료 AI 역량평가는 6개 역량(AI 이해 · 요청 설계 · 업무 적용 · 결과 검증 · 안전·윤리 · 도구·자동화)마다 두 종류의 결과를 냅니다. 하나는 최근 실제 행동을 묻는 "나의 활용 모습" 자기평가 2문항, 다른 하나는 실무 상황에서 핵심 단계를 알아보는지 묻는 판단 문제 3문항입니다. 각 50점씩 역량 점수 100점을 이루는데, 리포트는 합계와 별도로 두 결과를 백분율로 나란히 놓고 차이를 계산합니다.

표시	조건	의미	먼저 볼 곳
사각지대 가능성	자기평가가 판단 결과보다 50%p 이상 높음	자주 쓰고 자신 있지만 핵심 단계를 놓치고 있을 수 있음	해당 역량의 판단 문제 해설
숨은 역량	판단 결과가 자기평가보다 50%p 이상 높음	원리는 알지만 업무에서 꺼내 쓰지 않고 있음	직무별 예시 요청문, 8주 로드맵
차이 주의	어느 방향이든 25%p 이상 50%p 미만	두 결과가 어긋남. 방향을 확인할 필요	역량별 분석의 행동 지표
표시 없음	차이 25%p 미만	자기 인식과 판단이 비슷함(높든 낮든)	점수 수준에 맞는 로드맵

한 가지 기억할 점은 영역마다 판단 문제가 3개라는 사실입니다. 한 문제로 판단 결과가 약 33%p 움직이므로 "차이 주의"는 한 문제 차이로도 생기거나 사라질 수 있습니다. 50%p 이상 차이는 더 눈여겨볼 신호지만, 그래도 어디까지나 가능성 표시이지 확정 진단이 아닙니다. 리포트가 "점수보다 무엇을 놓쳤는지를 보라"고 안내하는 이유입니다.

💡 숨은 역량이 뜻하는 기회

숨은 역량은 사각지대의 반대편입니다. 판단 문제에서는 핵심 단계를 정확히 짚었는데, 최근 업무에서 그런 행동을 한 경험은 적다고 답한 경우입니다. 흔히 세 부류가 여기에 해당합니다.

• 원리는 배웠지만 업무에 연결하지 못한 사람 — 강의나 글로 개념을 익혔으나 회사에서 쓸 계정·허용 기준이 없거나 적용할 업무를 못 찾은 경우.
• 조심스러워서 덜 쓰는 사람 — 위험을 잘 알기 때문에 오히려 사용을 미루는 경우.
• 자신을 박하게 평가하는 사람 — 실제로 하고 있는데 "이 정도는 한다고 말할 수준이 아니다"라고 답한 경우.

이런 사람에게 필요한 것은 새 지식보다 적용 기회입니다. BCG AI at Work 2025(11개국 10,635명)에서 5시간 넘게 교육받은 직원의 79%가 정기 사용자였고 5시간 미만은 67%였는데, 이는 "아는 것"이 "쓰는 것"으로 넘어가는 데 실습 경험이 중요하다는 점을 시사합니다. 숨은 역량은 조직 입장에서도 신호입니다. 판단은 정확한데 활용이 적은 사람이 많다면, 개인의 의지보다 업무용 계정이나 사용 기준 같은 환경이 막고 있을 수 있습니다.

✅ 숨은 역량이 알려 주는 것 — "나는 아직 부족하다"는 막연한 느낌이 "판단은 되니, 이 업무 하나에 실제로 써 보면 된다"는 구체적 다음 단계로 바뀝니다.

🗺️ 결과를 받고 나서 할 일 — 유형별 실행표

평가를 마치면 리포트의 "자기평가 vs 실제 지식"에서 역량별 표시를 확인할 수 있습니다. 표시마다 이번 주에 할 일은 다릅니다. 아래 표는 리포트 구성(판단 문제 해설, 역량별 행동 지표, 직무별 예시 요청문, 8주 로드맵)을 어떤 순서로 쓰면 되는지 정리한 것입니다.

표시	오늘(10분)	이번 주	한 달 안
사각지대 가능성	해당 역량 판단 문제 해설에서 "빠진 단계" 메모	그 역량을 쓰는 실제 업무 1건에 메모한 단계를 넣어 처리	그 단계를 체크리스트로 만들어 반복 업무에 고정
숨은 역량	직무별 예시 요청문 중 하나를 골라 저장	반복 업무 1건에 실제로 적용하고 결과 비교	잘된 방법을 동료와 공유하거나 강점 심화 강의 수강
차이 주의	역량별 "잘하는 사람의 행동 지표"와 내 행동 비교	어긋난 방향(과신/과소)을 스스로 판정	PDF와 비교하며 다시 풀어 방향이 같은지 확인
표시 없음	30초 요약의 "먼저 보완할 역량" 확인	8주 로드맵 1~2주 차 시작	3~4주 차 업무 적용 단계까지 진행

사각지대를 다룰 때 가장 효과적인 방법은 새로 공부를 쌓기보다 이미 하고 있는 행동에 확인 단계 하나를 끼워 넣는 것입니다. 예를 들어 AI로 경쟁사 가격표를 정리해 왔다면, 표를 만든 뒤 각 가격의 출처 페이지를 한 번씩 열어 보는 단계를 넣는 식입니다. 큰 변화 없이 "자신 있는 영역"의 오류를 줄입니다.

팀에서 평가를 함께 받았다면 개인 점수 대신 "사각지대가 몰린 역량"을 이야기해 보세요. 여러 사람이 같은 영역에 사각지대를 보인다면 개인 문제가 아니라 조직의 확인 절차·사용 기준 문제일 가능성이 큽니다. 이 경우 교육 담당자·팀장용 무료 AI 도입 진단의 "틀린 수치·없는 출처를 거르는 확인 절차", "사내 AI 사용 기준" 문항이 조직 차원의 원인을 짚는 데 도움이 됩니다. 내 차이가 어디에 있는지부터 보고 싶다면 무료 AI 역량평가에서 확인할 수 있습니다.

💡 자기평가를 정직하게 하는 요령 — "할 수 있다"가 아니라 "최근에 실제로 했다"를 기준으로 고르세요. 후하게 답하면 사각지대가 가려지는 게 아니라 오히려 더 크게 표시됩니다.

❓ 자주 묻는 질문

Q1. 사각지대 표시가 나오면 그 역량이 부족하다는 뜻인가요?

꼭 그렇지는 않습니다. 자기평가와 판단 결과가 크게 어긋난다는 신호이며, 판단 문제가 영역당 3개라 우연의 영향도 있습니다. 해설을 읽고 놓친 원칙이 실제 업무 습관과 맞닿아 있는지 확인하는 것이 먼저입니다.

Q2. 숨은 역량이 여러 개면 자기평가를 너무 낮게 한 건가요?

그럴 수도 있고, 실제로 업무에 쓸 기회가 적었을 수도 있습니다. 어느 쪽이든 판단은 갖춰져 있으니 직무별 예시 요청문으로 실제 업무에 적용해 보는 것이 가장 빠른 확인 방법입니다.

Q3. 다시 풀면 차이가 없어지나요?

해설을 읽고 다시 풀면 판단 점수는 오르기 쉬워 차이가 줄어 보일 수 있습니다. 그래서 재응시는 몇 주 간격을 두고, 점수보다 실제 업무 행동이 바뀌었는지를 함께 보는 편이 의미 있습니다.

Q4. 결과를 팀장에게 제출해야 하나요?

평가 답변은 DB에 저장되지 않고 결과 링크와 PDF는 본인이 관리합니다. 공유 여부는 본인이 정하며, 팀에서는 개인 점수보다 공통으로 사각지대가 몰린 영역을 이야기하는 편이 유용합니다.

팀 전체의 사각지대를 교육으로 다루고 싶다면 출강 교육 문의로 상담을 요청할 수 있습니다.

📎 출처

• Dell'Acqua, F. 외 (2023). Navigating the Jagged Technological Frontier. Harvard Business School Working Paper — SSRN
• Kruger, J. & Dunning, D. (1999). Unskilled and Unaware of It. Journal of Personality and Social Psychology — PDF
• Lee, H.-P. 외 (2025). The Impact of Generative AI on Critical Thinking. CHI 2025, Microsoft Research — Microsoft Research
• Aalto University (2025). AI 사용 시 성과 과대평가 연구(Computers in Human Behavior) — Aalto University
• BCG (2025.6). AI at Work 2025: Momentum Builds, but Gaps Remain — BCG