취업 자료실AI가 만든 평가 문항, 그대로 써도 될까

AI가 만든 평가 문항, 그대로 써도 될까

2026년 10월 27일 4분 읽기 조회 0
AI가 만든 평가 문항, 그대로 써도 될까

AI로 문항을 뽑으면 빠릅니다. 문제는 그럴듯해 보여서 검토를 건너뛰게 된다는 점입니다. 생성 문항에서 반복적으로 나타나는 오류 다섯 가지와, 시험지에 올리기 전 확인할 체크포인트를 정리했습니다.

평가 문항을 AI로 뽑아 보면 첫인상이 좋습니다. 형식이 반듯하고, 보기도 그럴듯하고, 개수도 원하는 만큼 나옵니다. 그래서 위험합니다.

직접 출제한 문항은 스스로 의심하며 검토합니다. 그런데 완성된 형태로 받은 문항은 이미 검증을 거친 것처럼 보입니다. 이 착시가 검토를 건너뛰게 만듭니다.

평가 문항은 틀리면 되돌리기 어려운 결과물입니다. 시험지가 배부된 뒤 오류가 발견되면 학생·학부모 민원과 성적 처리 문제로 이어집니다. AI 활용 영역 중 검토 밀도를 가장 높게 유지해야 하는 곳입니다.

🔍 반복적으로 나타나는 오류 다섯 가지

오류 1 정답이 둘 이상이거나 없음

가장 흔하고 가장 치명적입니다. 보기 두 개가 표현만 다르고 같은 뜻이거나, 해석에 따라 둘 다 맞는 경우입니다.

확인법: 정답 말고 오답 보기를 하나씩 읽으며 "왜 이건 틀렸는가"를 말로 설명해 봅니다. 설명이 막히면 그 보기가 문제입니다.

오류 2 교육과정 범위를 벗어남

해당 학년에서 아직 안 배운 개념이나 용어가 섞여 들어옵니다. 내용상 틀린 것은 아니라 눈에 잘 안 띕니다.

확인법: 요청할 때 단원명과 성취기준을 명시하고, 받은 뒤에는 문항에 등장하는 용어가 교과서에 나오는지 훑습니다.

오류 3 보기 속에 답이 드러남

정답 보기만 유독 길거나 구체적인 경우입니다. 내용을 몰라도 형태만 보고 고를 수 있게 됩니다.

확인법: 보기의 길이와 서술 수준을 훑어봅니다. 하나만 튄다면 다듬어야 합니다. 요청 단계에서 "보기 길이를 비슷하게"를 넣어 두면 줄어듭니다.

오류 4 사실관계가 틀림

연도, 인물, 수치, 지명이 그럴듯하게 틀립니다. 문항 안에 존재하지 않는 사례나 통계가 들어가기도 합니다.

확인법: AI가 스스로 가져온 사실 정보는 전부 확인 대상입니다. 반대로 교과서 본문을 붙여 넣고 그 안에서 출제하게 하면 이 오류가 크게 줄어듭니다.

오류 5 난이도가 한쪽으로 쏠림

개수를 지정하면 채워 주지만 대부분 비슷한 난이도로 나옵니다. 변별이 안 되는 시험지가 됩니다.

확인법: 요청 단계에서 난이도별 개수를 지정합니다. "기초 4문항, 응용 4문항, 심화 2문항"처럼. 받은 뒤에는 우리 반 중위권 학생 기준으로 다시 배치합니다.

✅ 시험지에 올리기 전 체크포인트

확인 항목 방법 잡히는 오류
오답 설명오답마다 "왜 틀렸는가"를 말로복수정답·무정답
용어 대조등장 용어가 교과서에 있는지범위 이탈
보기 길이하나만 튀지 않는지 훑기형태로 답 노출
사실 확인연도·수치·사례를 원문 대조사실관계 오류
난이도 배치중위권 기준으로 재배열변별력 부족
이 다섯 가지는 익숙해지면 문항당 1분이 안 걸립니다. 직접 출제하는 시간과 비교하면 여전히 크게 짧습니다. AI 활용을 포기할 이유가 아니라, 제대로 쓰기 위한 절차입니다.

🧪 그래서 연수에 오류 수정 실습이 있습니다

누구나패스 「교직원을 위한 AI 리터러시 & 수업 활용 입문」 1교시에는 AI가 생성한 문제의 오류를 찾아 수정하는 실습이 들어 있습니다. 문항을 만드는 법만 배우고 끝내지 않는 이유가 여기 있습니다.

1교시 · 2시간 교육 현장의 AI 이해 및 수업 자료 제작

교육 현장 AI 도입 현황·활용 영역과 한계 · 수업안·학습지·평가 문항 생성 시연 · 담당 교과·학년 자료 직접 제작

그리고 AI 생성 문제 오류 찾아 수정. 눈으로 한 번 걸러 본 교원은 다음부터 자동으로 그 지점을 봅니다. 체크리스트를 종이로 받는 것과 직접 찾아본 것은 다릅니다.

2교시 · 2시간 행정 문서 자동화 및 AI 윤리 지도

가정통신문·안내문·공문 자동화 · 필요한 행정 문서 직접 작성 · 학생 AI 과제 지도 방안 설계·토의

두 유닛 모두에 현업 적용 실습(참가자가 가져온 실제 교과 자료로 직접 실행·완성)과 결과물 리뷰 & 강사 1:1 코칭이 들어 있습니다.

📦 4시간 뒤 손에 남는 것

📝

담당 교과·학년용 학습지·평가 문항 초안

오류 검토를 거친 상태로 나갑니다. 초안이라는 단어를 그대로 쓰는 이유는, 최종 확정은 언제나 교원의 몫이기 때문입니다.

📄

행정 문서(가정통신문·공문) 템플릿

형식이 반복되는 문서라 학기 내내 회수됩니다.

🧭

학생 지도용 AI 윤리 가이드

교원이 검증의 중요성을 몸으로 겪고 나면 학생에게도 같은 것을 가르칠 수 있습니다.

✅ 무엇이 달라지나

영역 연수 전 연수 후
문항 출제직접 하나씩자동 생성 후 검토
수업 준비자료 제작에 수 시간AI 초안으로 대폭 단축
학생 AI 지도기준 없이 막막명확한 원칙으로 지도

참가 대상은 초·중·고·대학의 교사와 교육행정직입니다. AI를 처음 접하는 분도 개념부터 단계별로 다루므로 사전 지식이 필요하지 않습니다. 담당 교과·학년의 평가 자료나 교과서 단원을 준비해 오시면 그것으로 실습합니다.

우리 조직은 AI를 어디까지 쓰고 있을까요? 12문항·약 5분의 무료 조직 AI 활용 수준 진단을 받으면 위험 신호와 보완 방법, 90일 실행 로드맵, 교육 대상 구성안을 담은 리포트를 바로 확인할 수 있습니다.

교직원 대상 출강 연수

교직원을 위한 AI 리터러시 & 수업 활용 입문

0.5일 · 4시간 · 초중고·대학 교원 및 교육행정직
만드는 법과 검토하는 법을 같은 시간에 배웁니다.

과정 자세히 보기 →

교과 구성과 평가 시기를 알려주시면 실습 소재를 맞춰 조정해 드립니다. 문항 제작을 더 깊게 다루려면 AI로 만드는 교육 자료 & 강의 콘텐츠(6시간)를 함께 검토해 보셔도 좋습니다. 출강 문의는 이곳에서.

댓글

0/1000

불러오는 중...

관련 글