1강. 진실의 위기 — 무엇이 문제인가 | AI 허위정보와 딥페이크 — 진실의 위기 · 입문 — NUGUNA

🎯 학습 목표

이 강을 마치면 여러분은 다음 네 가지를 할 수 있습니다. 첫째, 생성형 AI 시대에 왜 '진실의 위기'라는 말이 등장했는지 그 배경을 설명할 수 있습니다. 둘째, 이 위기가 '가짜가 진짜처럼 보이는 문제' 하나로 끝나지 않고 세 겹의 구조를 가진다는 점을 구분해 말할 수 있습니다. 셋째, 정보 오염이 경제·선거·개인의 삶·사회적 신뢰에 어떤 비용을 남기는지 실제 사건과 공식 통계로 짚을 수 있습니다. 넷째, 앞으로 20강에 걸쳐 이 강좌가 어떤 범위를 어떤 태도로 다룰지 이해하고, 막연한 공포도 무관심도 아닌 균형 잡힌 관점을 세울 수 있습니다.

첫 강은 기술 원리보다 '문제의 지도'를 그리는 데 집중합니다. 딥페이크가 어떻게 만들어지는지는 2강과 3강에서, 탐지 기술은 10강과 11강에서 자세히 다루니, 여기서는 무엇이 왜 문제인지를 정확히 붙잡는 것이 목표입니다.

🧭 '보는 것이 믿는 것'이 무너질 때

사진과 영상이 지닌 힘부터 생각해 보겠습니다. 19세기에 사진이 등장한 뒤로 사람들은 카메라가 찍은 장면을 '그 일이 실제로 있었다는 증거'로 받아들여 왔습니다. 물론 사진 조작은 오래전부터 있었습니다. 다만 그럴듯한 합성에는 전문 장비와 숙련된 기술, 상당한 시간이 필요했기 때문에 대량으로 퍼지기 어려웠습니다. 조작 비용이 높다는 사실 자체가 일종의 안전장치였던 셈입니다.

생성형 AI(학습한 데이터의 패턴을 바탕으로 새로운 글·이미지·음성·영상을 만들어 내는 인공지능)는 이 안전장치를 거의 걷어냈습니다. 문장 몇 줄을 입력하면 사진처럼 보이는 이미지가 나오고, 짧은 녹음만 있으면 특정인의 목소리를 흉내 낸 음성을 만들 수 있게 되었습니다. 위조의 비용이 0에 가까워지자, 위조물의 양과 속도가 검증의 속도를 앞지르기 시작했습니다.

2023년 5월 22일의 일이 상징적입니다. 미국 국방부 청사(펜타곤) 근처에서 큰 폭발이 일어났다는 글이 검은 연기 사진과 함께 X(옛 트위터)에 올라왔고, 유료 인증 배지를 단 여러 계정이 이를 빠르게 퍼 날랐습니다. 미국 당국은 곧 그런 사건이 없었다고 확인했지만, 그 짧은 시간 동안 미국 주식시장 지수가 잠시 출렁였습니다. 이미지는 AI로 생성된 것으로 추정되었고, 자세히 보면 건물 울타리와 기둥이 어색하게 뒤엉켜 있었습니다. 허술한 가짜 한 장이 몇 분 만에 금융시장을 흔들 수 있다는 사실이 확인된 사건입니다.

2024년 초 홍콩에서는 한층 정교한 일이 벌어졌습니다. 영국계 엔지니어링 기업 아럽(Arup)의 홍콩 사무소 직원이 최고재무책임자(CFO)를 사칭한 이메일을 받고 처음에는 의심했지만, 이어진 화상회의에서 CFO와 낯익은 동료들의 얼굴과 목소리를 보고 듣고는 의심을 거뒀습니다. 그런데 그 회의에 참석한 다른 사람은 모두 딥페이크였습니다. 직원은 15차례에 걸쳐 약 2억 홍콩달러(약 2,500만 미국달러)를 송금했습니다. 홍콩 경찰이 2024년 2월 사건을 공개했고, 아럽은 같은 해 5월 자사가 피해 기업임을 확인했습니다.

두 사건이 던지는 질문은 같습니다. 눈으로 보고 귀로 들은 것을 더는 그대로 믿을 수 없다면, 우리는 무엇을 근거로 판단해야 할까요? 이 질문이 바로 이 강좌 전체를 관통하는 출발점입니다.

💡 진실의 위기, 세 겹의 구조

'진실의 위기'라고 하면 흔히 가짜 영상에 속는 장면만 떠올립니다. 하지만 연구자들이 경고하는 위험은 그보다 넓습니다. 세 층으로 나누어 보면 문제의 전체 모양이 선명해집니다.

첫 번째 층은 가짜가 진짜로 받아들여지는 문제입니다. 위의 펜타곤 사진과 아럽 사기가 여기에 해당합니다. 가장 눈에 띄고 피해가 즉각적이어서 언론의 관심도 이쪽에 몰립니다.

두 번째 층은 반대 방향입니다. 진짜가 가짜로 의심받는 문제입니다. 미국 법학자 로버트 체스니(Robert Chesney)와 대니엘 시트론(Danielle Citron)은 2019년 『캘리포니아 로 리뷰(California Law Review)』에 실린 논문에서 이를 거짓말쟁이의 배당금(liar's dividend)이라고 불렀습니다. 정교한 가짜를 만들 수 있다는 사실이 널리 알려질수록, 진짜 녹음이나 영상에 찍힌 사람이 "그건 딥페이크다"라고 주장하기만 해도 책임을 피할 여지가 생긴다는 뜻입니다. 거짓말을 하는 쪽은 가짜를 직접 만들 필요조차 없습니다. 가짜가 존재할 수 있다는 의심만 빌려 오면 됩니다.

세 번째 층은 가장 조용하지만 오래 남는 피해입니다. 무엇이 진짜인지 매번 따져야 하는 상황이 반복되면 사람들은 지치고, 결국 "어차피 다 믿을 수 없다"며 판단 자체를 포기하게 됩니다. 이를 진실 무관심 또는 냉소라고 부를 수 있습니다. 시민이 사실 확인을 포기하면 공론장은 근거 대신 진영과 감정으로 움직이게 됩니다.

층위	무슨 일이 일어나나	대표 사례	남는 피해
1층: 가짜의 진짜 행세	조작물이 사실로 받아들여짐	펜타곤 폭발 사진, 아럽 화상회의 사기	금전 손실, 시장 혼란, 잘못된 결정
2층: 진짜의 가짜 취급	실제 증거가 '조작'으로 부정됨	거짓말쟁이의 배당금	책임 회피, 증거 가치 하락
3층: 판단의 포기	모든 정보를 똑같이 불신함	"다 가짜일 수 있다"는 냉소	공론장 붕괴, 신뢰 기반 약화

표에서 보듯 세 층은 서로를 키웁니다. 1층의 사건이 잦아질수록 2층의 핑계가 설득력을 얻고, 두 층이 겹치면 3층의 냉소가 깊어집니다. 그래서 이 문제를 '가짜를 잘 골라내면 끝나는 일'로만 보면 절반도 해결하지 못합니다.

📉 정보 오염의 사회적 비용

정보 오염은 추상적인 걱정이 아니라 측정 가능한 비용을 남깁니다. 영역별로 확인된 사실을 차례로 짚어 보겠습니다.

확산 속도의 비대칭부터 보겠습니다. 미국 MIT 연구진(Vosoughi·Roy·Aral)은 2018년 학술지 『사이언스』에 2006~2017년 트위터에서 퍼진 약 12만 6천 건의 뉴스 전파 경로를 분석한 결과를 발표했습니다. 거짓 뉴스는 사실 뉴스보다 리트윗될 가능성이 약 70% 높았고, 1,500명에게 도달하는 속도는 약 6배 빨랐습니다. 눈여겨볼 점은 자동화 계정(봇)을 빼고 계산해도 결과가 크게 달라지지 않았다는 것입니다. 거짓을 퍼뜨린 주체는 주로 사람이었고, 연구진은 거짓 정보가 더 '새롭게' 느껴지기 때문이라고 해석했습니다. 생성형 AI는 바로 이 새로움을 무한히, 값싸게 만들어 낼 수 있는 도구입니다.

선거에서도 비용은 구체적입니다. 2024년 1월 미국 뉴햄프셔주 대선 예비경선 이틀 전, 조 바이든 당시 대통령의 목소리를 AI로 복제한 자동 전화가 유권자들에게 "투표하지 말라"고 권했습니다. 미국 연방통신위원회(FCC)는 이 전화를 기획한 정치 컨설턴트에게 600만 달러의 과징금을 확정했습니다. 다만 같은 인물은 2025년 6월 뉴햄프셔 형사재판에서는 무죄 평결을 받았는데, 이는 기존 법 체계가 새로운 유형의 선거 조작을 어떻게 다룰지 아직 정리되지 않았음을 보여 줍니다.

한국 국회는 2023년 12월 20일 공직선거법을 고쳐 제82조의8을 신설해, 선거일 전 90일부터 선거일까지 선거운동 목적의 딥페이크 영상 등을 제작·유포하는 행위를 금지했습니다. 위반하면 7년 이하의 징역 또는 1천만 원 이상 5천만 원 이하의 벌금에 처해집니다. 중앙선거관리위원회 집계를 인용한 보도에 따르면, 2024년 제22대 국회의원선거에서 적발된 딥페이크 선거운동 게시물은 약 390건이었고, 그중 4분의 1가량은 해외 플랫폼에 올라 있어 삭제 요청에도 지워지지 않았습니다. 2025년 제21대 대통령선거에서는 적발 건수가 1만 513건으로 약 27배 늘었습니다. 법이 생겼는데도 위반이 폭증했다는 사실은, 제작 도구가 얼마나 빠르게 대중화되었는지를 보여 주는 지표입니다.

개인의 삶에 남는 상처는 더 깊습니다. 2024년 한국에서는 지인의 얼굴을 합성한 성적 허위 영상물이 텔레그램 등에서 유통된 사실이 드러나 큰 사회 문제가 되었습니다. 경찰청에 따르면 2024년 1월 1일부터 10월 25일까지 딥페이크 성범죄로 506명이 검거되었고, 그중 10대가 411명(촉법소년 78명 포함)으로 약 81%를 차지했습니다. 국회는 성폭력처벌법을 고쳐 허위 성적 영상물을 소지·구입·저장·시청하는 행위까지 처벌 대상으로 넓혔고, 개정법은 2024년 10월 16일부터 시행되었습니다. 이 주제는 7강에서 피해 회복 절차와 함께 따로 다룹니다.

영역	확인된 사실	시사점
확산	거짓 뉴스 리트윗 가능성 약 70%↑ (MIT, 2018)	정정 보도는 늘 뒤처진다
금융·기업	아럽 화상회의 사기 약 2,500만 달러 (2024)	얼굴·목소리 확인만으로는 본인 인증이 안 된다
선거(미국)	바이든 음성 복제 전화, FCC 과징금 600만 달러	행정 제재와 형사 처벌 사이의 공백
선거(한국)	딥페이크 적발 22대 총선 약 390건 → 21대 대선 1만 513건	금지법만으로는 확산을 막기 어렵다
개인	2024년 1~10월 딥페이크 성범죄 검거 506명, 10대 약 81%	가해·피해 모두 청소년에 집중

국제 사회의 평가도 같은 방향을 가리킵니다. 세계경제포럼(WEF)의 『글로벌 리스크 보고서』는 2024년과 2025년 연속으로 '오정보와 허위정보'를 향후 2년 내 가장 심각한 세계 위험 1위로 꼽았고, 2026년 보고서에서도 지정학적·경제적 대립에 이어 2위에 올렸습니다. 1,300명이 넘는 각국 전문가가 응답한 조사에서 정보 오염이 전쟁·경제 위기와 나란히 놓였다는 점은, 이 문제가 다른 위기를 증폭시키는 '촉매'로 여겨진다는 뜻입니다.

⚠️ 이 문제를 볼 때 빠지기 쉬운 함정

진실의 위기를 처음 접한 학습자가 자주 품는 오해 네 가지를 짚어 두겠습니다. 이 오해들은 위기를 과소평가하게도, 반대로 과장하게도 만듭니다.

첫째, "AI로 만든 콘텐츠는 모두 허위정보다"라는 생각입니다. AI로 만든 광고 이미지, 고인의 목소리를 복원한 다큐멘터리, 장애인을 위한 음성 합성은 속이려는 의도가 없고 이용자에게 그 사실이 알려져 있다면 문제가 아닙니다. 문제의 핵심은 '기술'이 아니라 '기만'입니다. 4강에서 허위정보·오정보·악의정보를 구분하는 것도 이 때문입니다.

둘째, "탐지 기술이 발전하면 저절로 해결된다"는 기대입니다. 탐지기는 분명 중요하지만, 새 생성 기법이 나올 때마다 탐지기는 다시 학습해야 하는 추격전을 벌입니다. 또 탐지 결과가 확률로 나오기 때문에 '거의 확실히 가짜'와 '아마 진짜' 사이의 회색 지대가 늘 남습니다. 기술만으로 막을 수 없는 부분을 제도와 개인의 습관이 메워야 합니다.

셋째, "나는 안 속는다"는 자신감입니다. 아럽 직원도 처음에는 사기 이메일을 의심했습니다. 그 의심을 무너뜨린 것은 낯익은 얼굴들이 모인 화상회의였습니다. 사기는 지식이 부족한 사람이 아니라, 급하고 믿을 만한 상황에 놓인 사람을 노립니다.

넷째, 가장 놓치기 쉬운 함정은 "그러니 모든 것을 의심하라"는 결론입니다. 무차별적 의심은 앞에서 본 세 번째 층, 곧 판단의 포기로 이어지고 거짓말쟁이의 배당금을 키워 줍니다. 건강한 태도는 모든 것을 불신하는 것이 아니라, 무엇을 근거로 믿을지 기준을 갖는 것입니다. 15강과 16강의 미디어 리터러시 실전은 바로 이 기준을 만드는 과정입니다.

⚖️ 이 강좌의 범위와 균형 원칙

마지막으로 앞으로의 여정을 안내하겠습니다. 전체 20강은 크게 다섯 묶음으로 짜여 있습니다.

묶음	회차	핵심 질문
기초 이해	1~4강	생성형 AI와 딥페이크는 무엇이고, 거짓 정보는 어떻게 분류되나?
확산과 피해	5~9강	왜 퍼지고, 선거·개인·여론에 어떤 피해를 주며, AI 스스로 지어내는 오류(환각)는 무엇인가?
기술적 대응	10~11강	딥페이크를 어떻게 잡아내고, 워터마크와 출처 증명은 어디까지 가능한가?
제도와 책임	12~14강	플랫폼과 법은 무엇을 해야 하며, 표현의 자유와는 어떻게 균형을 맞추나?
시민의 역량	15~20강	개인은 어떻게 판별하고, AI의 순기능과 저널리즘의 역할은 무엇인가?

이 강좌는 세 가지 원칙을 지킵니다. 첫째는 근거 우선입니다. 수치와 사건은 공공기관 발표, 학술 논문, 신뢰할 수 있는 언론 보도로 확인된 것만 사용하고, 각 강 끝에 출처를 밝힙니다. 아직 결론이 나지 않은 사안은 '논쟁 중'이라고 분명히 표시합니다.

둘째는 균형입니다. AI를 악당으로 그리는 공포 서사도, 문제를 가볍게 넘기는 낙관론도 피합니다. 같은 기술이 의료 영상 분석이나 번역, 접근성 향상에 쓰인다는 사실을 18강에서 따로 다루는 이유입니다. 규제를 논할 때도 피해 방지와 표현의 자유가 충돌하는 지점을 함께 살핍니다.

셋째는 실천 가능성입니다. 강좌를 마친 뒤 여러분이 낯선 영상을 마주했을 때 실제로 써먹을 수 있는 확인 순서와 체크리스트를 손에 쥐도록 구성했습니다. 위기를 이해하는 데서 멈추지 않고, 진실을 지키는 시민으로서 무엇을 할 수 있는지까지 가는 것이 이 강좌의 최종 목표입니다.

📝 핵심 요약과 다음 강 예고

배경: 생성형 AI가 위조 비용을 0에 가깝게 낮추면서, 사진·영상·음성이 가졌던 증거로서의 지위가 흔들리고 있습니다.
세 겹 구조: 가짜가 진짜 행세를 하고(1층), 진짜가 가짜로 부정되며(2층, 거짓말쟁이의 배당금), 결국 판단 자체를 포기하게 됩니다(3층).
사회적 비용: 거짓은 사실보다 빠르게 퍼지고, 금융 사기·선거 개입·성범죄 같은 구체적 피해로 이어지며, WEF는 이를 세계 최상위 위험으로 평가합니다.
함정: AI 콘텐츠 전체를 악으로 보는 시각, 탐지 기술 만능론, '나는 안 속는다'는 과신, 무차별적 냉소를 경계해야 합니다.
강좌 원칙: 근거 우선, 균형, 실천 가능성.

그렇다면 컴퓨터는 어떻게 존재하지 않는 얼굴과 들어 본 적 없는 목소리를 만들어 낼까요? 다음 2강 「생성형 AI, 어떻게 콘텐츠를 만드나」에서는 수식 없이도 이해할 수 있도록, 생성 모델이 데이터에서 패턴을 배워 새로운 콘텐츠를 만드는 원리를 차근차근 풀어 보겠습니다.

진실의 위기 — 무엇이 문제인가