1강. 왜 지금 AI 윤리가 비즈니스 리스크인가 | AI 윤리·안전·글로벌 규제 · 입문 — NUGUNA

🎯 학습 목표

이 강을 마치면 AI 윤리가 '착한 회사가 되자'는 구호가 아니라 돈과 사업의 존속이 걸린 경영 리스크라는 점을 실제 사건으로 설명할 수 있습니다. 규제 기관의 과징금, 법원의 배상 판결, 주가와 평판의 손실, 서비스 강제 중단이라는 네 가지 경로로 윤리 문제가 비용이 되는 과정을 구분할 수 있고, 기술이 규범보다 빨리 움직일 때 생기는 '시차'가 왜 기업에 더 큰 위험이 되는지 이해하게 됩니다. 마지막으로 개발자와 기획자가 평범한 업무 중에 마주치는 판단 지점을 알아보고, 이 강좌 22강 전체를 어떻게 활용할지 길잡이를 얻습니다.

💸 윤리 문제가 비용이 되는 네 가지 경로

이 섹션에서는 AI 윤리 문제가 실제로 기업에 손실을 입히는 경로를 살펴보겠습니다. 윤리를 이야기하면 흔히 철학적 논쟁을 떠올리지만, 기업 입장에서 윤리 실패는 결국 몇 가지 구체적인 청구서로 돌아옵니다. 이 강좌에서는 이를 네 가지 경로로 나눠 봅니다.

경로	누가 청구하나	형태	대표 사례(아래 상세)
① 규제 제재	개인정보 감독기관, 공정거래·소비자 보호 기관	과징금, 처리 중단 명령, 기술 사용 금지	Clearview AI, Rite Aid, 이루다
② 소송·배상	소비자, 구직자, 저작권자, 법원	손해배상, 합의금, 법원 제재	Air Canada, iTutorGroup, Mata v. Avianca
③ 평판·시장가치	시장, 언론, 이용자	주가 하락, 이용자 이탈, 신뢰 상실	구글 Bard 시연
④ 사업 중단	규제 기관 또는 회사 스스로	서비스 종료, 출시 철회	이루다

네 경로는 따로 움직이지 않고 서로를 키웁니다. 언론 보도로 평판이 무너지면 규제 기관이 조사에 나서고, 규제 기관의 판단은 다시 소송의 근거가 됩니다. 그래서 실제 손실은 처음 과징금 액수보다 훨씬 커지는 경우가 많습니다. 과징금 자체보다 '사업을 그 방식으로 계속할 수 없게 되는 것'이 더 큰 타격인 경우도 흔합니다. 아래 사례들을 이 네 경로에 비추어 읽어 보면, 어디서 비용이 발생했는지 선명하게 보입니다.

한 가지 짚어 둘 점은, 여기 소개하는 사건 대부분이 '악의적인 회사'의 이야기가 아니라는 것입니다. 대부분은 편리한 기능을 빨리 내놓으려던 평범한 의사 결정에서 시작했습니다. 이 점이 AI 윤리가 모든 실무자의 문제인 이유입니다.

📂 실제 사건으로 보는 AI 리스크

이 섹션에서는 각 경로를 대표하는 실제 사건을 공식 결정과 보도를 바탕으로 정리하겠습니다. 금액보다 '어떤 판단이 문제가 되었는가'에 주목해 읽기를 권합니다.

규제 제재: 데이터를 모은 방식이 문제가 된 경우

Clearview AI는 인터넷에 공개된 사진을 대량으로 긁어모아 얼굴 검색 데이터베이스를 만든 미국 회사입니다. 네덜란드 개인정보 감독기관(Autoriteit Persoonsgegevens)은 2024년 9월, 이 회사가 당사자의 동의도 고지도 없이 300억 장이 넘는 사진으로 '불법 데이터베이스'를 만들었다며 3,050만 유로의 과징금을 부과했습니다. 위반을 멈추지 않으면 최대 510만 유로의 이행강제금이 추가될 수 있고, 감독기관은 네덜란드 기관이 이 서비스를 이용하는 것 자체도 불법이라고 경고했습니다. 이 사건이 주는 교훈은 '인터넷에 공개되어 있다'가 '마음대로 학습·활용해도 된다'를 뜻하지 않는다는 점입니다.

국내에는 이루다 사건이 있습니다. 스타트업 스캐터랩이 2020년 12월 23일 출시한 대화형 챗봇 이루다는 혐오 발언, 성적 악용, 개인정보 논란이 겹치며 2021년 1월 11일 출시 약 3주 만에 서비스를 중단했습니다. 개인정보보호위원회는 2021년 4월, 회사가 자사의 다른 앱에서 수집한 약 60만 명의 카카오톡 대화 94억여 건을 이용자에게 명확히 알리고 동의받지 않은 채 챗봇 개발에 썼고, 대화 속 실명·연락처·주소 같은 정보를 지우거나 가리지 않았다고 판단했습니다. 과징금과 과태료는 합계 1억 330만 원으로, 정부가 AI 기술을 이용한 개인정보 처리에 제재를 가한 첫 사례로 기록되었습니다. 금액은 크지 않았지만 80만 명 넘게 가입했던 서비스가 한순간에 멈췄다는 점에서, 네 번째 경로인 사업 중단의 대표 사례이기도 합니다.

미국 연방거래위원회(FTC)는 2023년 12월 약국 체인 Rite Aid에 매장 감시용 얼굴인식 기술을 5년간 쓰지 못하게 하는 합의 명령을 내렸습니다. FTC는 이 시스템이 손님을 좀도둑으로 잘못 지목하는 일이 잦았고, 특히 여성과 유색인종이 오인 대상이 되었으며, 회사가 오류를 줄이기 위한 합리적인 절차를 갖추지 않았다고 지적했습니다. 수집한 데이터도 삭제해야 했습니다. 기술의 오류가 특정 집단에 더 자주 일어나는 편향(2강에서 자세히 다룹니다)이 곧바로 사업 수단의 상실로 이어진 사례입니다.

규제 제재가 언제나 최종 결론은 아니라는 점도 알아 둘 필요가 있습니다. 이탈리아 개인정보 감독기관(Garante)은 2024년 12월, ChatGPT 학습에 개인정보를 쓸 법적 근거가 부족했고 연령 확인이 미흡했다는 등의 이유로 OpenAI에 1,500만 유로의 과징금을 발표했습니다. 그러나 로마 법원은 2026년 3월 이 처분을 취소했습니다. OpenAI가 2024년 2월 아일랜드 법인을 세웠기 때문에 유럽 개인정보보호법(GDPR)의 '원스톱숍' 원칙상 아일랜드 감독기관이 주관 기관이어야 한다는 관할권 문제가 이유였습니다. 법원이 OpenAI의 데이터 처리가 적법하다고 판단한 것은 아닙니다. 국경을 넘는 AI 서비스에서는 '어느 나라 기관이 담당하는가'라는 문제도 리스크 관리의 일부라는 것을 보여 줍니다.

소송·배상: AI가 한 말과 결정도 회사의 책임

2024년 2월 14일, 캐나다 브리티시컬럼비아주 민사분쟁 심판소는 Air Canada가 고객에게 812.02캐나다달러를 지급하라고 결정했습니다. 회사 웹사이트의 챗봇이 유족 할인 요금을 '여행 후 90일 안에 신청하면 환급받을 수 있다'고 잘못 안내했기 때문입니다. Air Canada는 챗봇이 별개의 주체이므로 그 말에 책임이 없다고 주장했지만, 심판소는 이를 받아들이지 않고 회사가 자기 웹사이트의 모든 정보에 책임진다고 판단했습니다. 금액은 작지만 'AI가 한 말은 회사가 한 말'이라는 원칙을 분명히 했다는 점에서 자주 인용됩니다.

미국 고용평등위원회(EEOC)는 2023년 온라인 교육 회사 iTutorGroup과 36만 5천 달러에 합의했습니다. 이 회사의 채용 소프트웨어는 55세 이상 여성과 60세 이상 남성 지원자를 자동으로 탈락시키도록 설정되어 200명 넘는 지원자를 걸러 냈습니다. 생년월일만 바꿔 같은 지원서를 두 번 낸 지원자가 젊은 생년월일로만 면접 연락을 받으면서 드러났습니다. 자동화된 판단이라도 차별 금지법의 적용을 피할 수 없다는 점, 그리고 문제는 생각보다 단순한 방법으로 드러난다는 점을 보여 줍니다.

AI를 쓰는 사람에게 책임이 돌아온 사례도 있습니다. 2023년 6월 미국 뉴욕 남부연방지방법원의 Mata v. Avianca 사건에서 변호사들은 ChatGPT가 만들어 낸, 실제로는 존재하지 않는 판례 6건을 인용한 서면을 제출했습니다. 판사는 인용을 확인하지 않은 변호사 2명에게 5,000달러의 제재금을 함께 부과했습니다. AI의 환각(그럴듯하지만 사실이 아닌 내용을 만들어 내는 현상, 10강)을 검증 없이 쓴 책임은 결국 사람에게 남습니다.

평판·시장가치: 시연 한 장면의 대가

2023년 2월, 구글은 대화형 AI Bard를 소개하는 홍보 영상을 공개했습니다. 영상 속 Bard는 제임스 웹 우주망원경이 태양계 밖 행성의 사진을 처음 찍었다고 답했지만, 실제 첫 외계 행성 사진은 2004년 유럽남방천문대의 망원경이 찍은 것이었습니다. 이 오류가 보도된 날 모회사 알파벳의 주가는 7.7% 떨어져 시가총액 약 1,000억 달러가 사라졌습니다. 시장이 그 오류 하나만 보고 반응한 것은 아니지만, AI의 신뢰성이 기업 가치 평가에 직접 반영된다는 점을 보여 준 장면으로 남았습니다.

⏳ 기술과 규범의 시차: 왜 '지금' 위험한가

이 섹션에서는 같은 문제라도 지금 더 위험해진 이유를 살펴보겠습니다. 기술 정책 연구에서는 기술이 발전하는 속도를 법과 제도가 따라가지 못하는 현상을 흔히 속도 문제(pacing problem)라고 부릅니다. 이와 연결된 개념으로 영국의 기술 사회학자 데이비드 콜링리지가 1980년 제시한 콜링리지 딜레마가 있습니다. 기술 초기에는 바꾸기 쉽지만 어떤 피해가 생길지 알기 어렵고, 피해가 분명해질 무렵에는 기술이 사회 깊숙이 자리 잡아 바꾸기 어렵다는 것입니다.

이 시차는 기업에 두 가지 함정을 만듭니다. 첫째, '아직 법이 없으니 괜찮다'는 착각입니다. 앞의 사례 대부분은 AI 전용 법이 아니라 기존 법, 곧 개인정보보호법, 차별 금지법, 소비자 보호법, 민사상 과실 책임으로 처벌받았습니다. AI 전용 법이 없어도 AI를 쓴 결과는 기존 법의 적용을 받습니다. 둘째, 규칙이 한꺼번에 바뀌는 시점입니다. 시차가 크게 벌어지면 어느 순간 규제가 몰아서 생깁니다. 지금이 바로 그런 시기입니다.

지역	규범	핵심 시점(2026년 10월 기준)
유럽연합	AI Act(위험 기반 규제)	금지 관행 2025년 2월, 범용 AI 의무 2025년 8월부터 적용. 2026년 7월 발효된 개정 규정(2026/1744)으로 고위험 시스템 의무는 2027년 12월(독립형)·2028년 8월(규제 제품 내장형)로 연기
한국	인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(AI 기본법)	2026년 1월 22일 시행. 고영향 AI 안전성 확보, 생성형 AI 결과물 표시 등. 과태료 최대 3천만 원, 정부는 최소 1년의 계도 기간 운영

EU AI Act는 금지된 AI 관행을 어기면 최대 3,500만 유로와 전 세계 연간 매출의 7% 중 더 큰 금액을 과징금으로 정하고 있습니다. 매출이 20억 유로인 기업이라면 7%는 1억 4천만 유로로, 고정 상한보다 4배 큽니다. 다만 중소기업과 스타트업에는 둘 중 더 작은 금액이 적용됩니다. 매출에 비례하는 이 구조는 큰 기업일수록 규제를 무시할 수 없게 만듭니다. 각 규제의 세부 구조는 13~15강에서 자세히 비교합니다. 이 강에서는 '규칙이 빠르게 생기고, 일부는 이미 적용되고 있으며, 적용 시점이 바뀌기도 한다'는 사실만 기억하면 충분합니다. 시점이 바뀌는 만큼 규제 대응은 한 번의 검토로 끝나지 않고 계속 확인해야 하는 일입니다.

🧑‍💻 실무자가 매일 마주치는 판단 지점

이 섹션에서는 개발자와 기획자의 평범한 업무 속에서 윤리 문제가 시작되는 지점을 짚어 보겠습니다. 앞의 사건들을 거꾸로 추적하면, 대부분 다음과 같은 일상적인 결정 하나에서 출발했습니다.

업무 장면	무심코 하는 결정	이어질 수 있는 리스크	관련 강
데이터 준비	'다른 서비스에서 모은 데이터니까 그냥 쓰자'	동의 범위를 벗어난 이용(이루다)	5강
데이터 수집	'웹에 공개된 거니까 크롤링하자'	개인정보·저작권 침해(Clearview)	5·6강
자동화 규칙 설정	'나이로 거르면 효율적이겠다'	차별(iTutorGroup)	2·3강
고객 응대 챗봇	'답변 검수는 나중에'	잘못된 안내의 법적 책임(Air Canada)	10강
성능 검증	'전체 정확도가 높으니 출시하자'	특정 집단에서 오류 집중(Rite Aid)	3강
콘텐츠 활용	'AI가 쓴 걸 그대로 제출하자'	환각에 대한 개인 책임(Mata v. Avianca)	10강

표의 결정들은 모두 그 순간에는 합리적으로 보입니다. 일정은 촉박하고, 데이터는 이미 손에 있고, 전체 정확도는 높습니다. 문제는 이 결정들이 기술 문제처럼 보여 혼자 결정되기 쉽다는 데 있습니다. 데이터의 원래 수집 목적이 무엇이었는지, 오류가 누구에게 몰리는지, 잘못된 답이 나갔을 때 누가 책임지는지는 엔지니어 혼자 답할 수 있는 질문이 아닙니다. 법무, 개인정보 담당, 현업 부서가 함께 봐야 합니다.

그래서 실무자에게 필요한 첫 번째 능력은 모든 법을 외우는 것이 아니라 '이건 혼자 정하면 안 되는 결정이다'를 알아차리는 감각입니다. 다음 세 가지 질문을 습관처럼 던져 보면 도움이 됩니다. 이 데이터를 처음 모을 때 당사자에게 이 용도를 말했는가? 이 시스템이 틀렸을 때 피해를 보는 사람은 누구이고, 특정 집단에 몰리지 않는가? 이 시스템의 출력이 고객에게 약속처럼 받아들여질 때 우리는 그 책임을 질 수 있는가? 셋 중 하나라도 확신이 없다면 그 결정은 공유하고 기록해야 할 대상입니다.

⚠️ 흔한 오해와 주의점

이 섹션에서는 AI 윤리 리스크를 다룰 때 조직이 자주 빠지는 오해를 정리하겠습니다. '우리는 작은 회사라 상관없다'는 오해가 가장 흔합니다. 이루다를 만든 스캐터랩도 스타트업이었습니다. 작은 회사일수록 과징금보다 서비스 중단과 신뢰 상실이 치명적이고, 한 번의 사건을 견딜 여력이 적습니다.

'AI 공급사가 책임진다'는 오해도 위험합니다. 외부 AI 모델을 가져다 써도 그 서비스를 고객에게 제공한 회사가 1차 책임을 지는 경우가 많습니다. Air Canada 사건에서 심판소가 챗봇을 회사와 분리하지 않은 것처럼, 고객은 화면 뒤에 어떤 모델이 있는지 상관하지 않습니다. 공급사와의 계약에서 책임 범위를 정하는 일(16강)이 중요한 이유입니다.

'윤리는 출시 후에 챙기면 된다'는 생각은 콜링리지 딜레마를 스스로 키우는 일입니다. 데이터를 다 학습시킨 뒤에 문제가 된 데이터를 빼려면 모델을 다시 만들어야 하고, 이미 퍼진 서비스를 고치기는 훨씬 어렵습니다. 설계 단계에서 확인하는 비용이 가장 쌉니다(18강).

마지막으로, 이 강의 사례를 '남의 나라 이야기'로 여기지 않아야 합니다. 국내 서비스라도 해외 이용자가 있거나 해외 시장에 내놓으면 그 나라의 규제를 받습니다. EU AI Act는 EU 밖 기업이라도 EU 시장에 AI를 제공하거나 그 결과물이 EU에서 쓰이면 적용될 수 있습니다. 한국 AI 기본법도 제4조에서 '국외에서 이루어진 행위라도 국내 시장 또는 이용자에게 영향을 미치는 경우에는 적용한다'고 정해, 해외 사업자에게도 적용될 수 있습니다.

📝 핵심 요약과 다음 강 예고

핵심 개념	정리
비용의 네 경로	규제 제재, 소송·배상, 평판·시장가치, 사업 중단 — 서로를 키워 손실이 커짐
책임의 원칙	AI가 한 말과 결정은 그것을 제공한 회사와 사용한 사람의 책임(Air Canada, Mata v. Avianca)
기존 법의 적용	AI 전용 법이 없어도 개인정보·차별 금지·소비자 보호 법으로 처벌(Clearview, iTutorGroup, Rite Aid, 이루다)
시차의 함정	속도 문제·콜링리지 딜레마 — 지금은 규칙이 한꺼번에 생기고 시점도 바뀌는 시기(EU AI Act, 한국 AI 기본법)
실무 감각	'혼자 정하면 안 되는 결정'을 알아차리기 — 데이터의 원래 목적, 오류의 피해자, 출력의 책임

이 강에서 본 사건 가운데 Rite Aid와 iTutorGroup은 'AI가 특정 집단에 불리하게 작동했다'는 공통점이 있습니다. 하나는 의도치 않은 오류였고, 다른 하나는 명시적인 규칙이었습니다. 다음 2강 「AI 편향은 어디서 오는가」에서는 이런 편향이 데이터 수집, 라벨링, 모델 설계, 사용 환경의 어느 단계에서 스며드는지를 실제 연구와 사례로 하나씩 추적해 보겠습니다.

왜 지금 AI 윤리가 비즈니스 리스크인가