2강. AI 편향은 어디서 오는가: 데이터와 설계의 그림자 | AI 윤리·안전·글로벌 규제 · 입문 — NUGUNA

🎯 학습 목표

이 강을 마치면 AI의 편향이 '나쁜 의도를 가진 개발자'가 아니라 데이터를 모으고, 이름표를 붙이고, 목표를 정하고, 평가하고, 현장에 배치하는 평범한 과정의 각 단계에서 스며든다는 것을 설명할 수 있습니다. 편향의 발생 지점을 일곱 가지 유형으로 구분해, 채용·의료·형사사법·얼굴인식·생성형 AI의 실제 사례가 각각 어느 단계에서 문제를 일으켰는지 짚을 수 있게 됩니다. 또 직접 실행한 시뮬레이션으로 편향이 자동화와 만나 스스로 커지고 굳어지는 피드백 루프를 확인하고, 실무에서 편향을 일찍 발견하기 위한 질문 목록을 갖추게 됩니다.

🧭 편향이란 무엇이고 왜 AI에서 더 위험한가

이 섹션에서는 이 강에서 쓰는 '편향'의 뜻을 정하고, 사람의 편향보다 AI의 편향이 더 위험해지는 이유를 살펴보겠습니다. 일상에서 편향은 한쪽으로 치우친 생각을 말하지만, AI 윤리에서 말하는 편향(bias)은 시스템의 결과가 특정 집단에 체계적으로 불리하거나 유리하게 나오는 현상입니다. '체계적'이라는 말이 핵심입니다. 가끔 틀리는 것은 오류이지만, 특정 성별·연령·인종·지역 사람들에게 오류가 반복해서 몰리면 편향입니다.

주의할 점은 통계학의 '편향'과 뜻이 겹치면서도 다르다는 것입니다. 통계에서 편향은 추정값이 참값에서 한쪽으로 벗어나는 정도를 말하고, 이는 사회적 차별과 무관할 수도 있습니다. 반대로 통계적으로는 정확한 모델이 사회적으로는 불공정한 결과를 낼 수도 있습니다. 과거 데이터를 정확히 따라 할수록 과거의 차별까지 정확히 따라 하게 되기 때문입니다. 이 강좌에서 편향은 주로 사회적 의미, 곧 사람에게 불공정한 결과를 낳는 치우침을 뜻합니다.

사람도 편향을 갖고 있는데 왜 AI의 편향을 따로 걱정해야 할까요. 첫째는 규모입니다. 면접관 한 명의 편견은 그가 만나는 지원자에게만 영향을 주지만, 채용 소프트웨어 하나는 수백만 명의 지원서를 같은 기준으로 거릅니다. 미국에서 진행 중인 Mobley v. Workday 소송에서 Workday는 해당 기간 자사 소프트웨어를 통해 약 11억 건의 지원서가 거절되었다고 법원 서류에서 밝혔습니다(차별이 입증된 건수라는 뜻은 아닙니다). 둘째는 보이지 않음입니다. 사람의 판단에는 이유를 물을 수 있지만 모델의 판단 근거는 겉으로 드러나지 않고(4강), 숫자로 나온 결과는 객관적이라는 인상을 줍니다. 셋째는 고착입니다. AI의 결정이 다시 다음 학습 데이터가 되면 편향이 스스로 강화됩니다. 이 강의 마지막 실습에서 이를 직접 확인합니다.

🔬 편향이 스며드는 일곱 단계

이 섹션에서는 편향이 어디에서 생기는지 지도를 그려 보겠습니다. MIT의 해리니 수레시(Harini Suresh)와 존 거태그(John Guttag)는 머신러닝 시스템의 수명 주기 전체에서 생기는 피해의 원천을 일곱 가지로 정리한 틀을 제시했습니다. 데이터를 만드는 단계에서 넷, 모델을 만들고 쓰는 단계에서 셋입니다. 이 틀은 '편향은 데이터 탓'이라는 단순한 설명을 넘어, 문제가 생긴 지점을 정확히 짚게 해 준다는 점에서 유용합니다.

유형	발생 단계	뜻	예
역사적 편향	데이터 생성	세상 자체가 불평등해, 정확히 기록된 데이터도 불평등을 담음	남성 위주였던 과거 채용 기록
대표성 편향	표본 수집	일부 집단이 데이터에 적게 들어감	밝은 피부색 위주의 얼굴 사진 데이터
측정 편향	특성·라벨 정의	재고 싶은 것 대신 대리 지표를 쓰는데, 그 지표가 집단마다 다르게 작동	'건강 필요도' 대신 '의료비', '범죄' 대신 '체포 기록'
집계 편향	모델 설계	서로 다른 집단에 하나의 모델을 똑같이 적용	집단마다 의미가 다른 검사 수치를 한 기준으로 판정
학습 편향	모델 학습	전체 정확도 같은 목표가 소수 집단의 성능을 희생시킴	다수 집단에 맞춰진 최적화
평가 편향	성능 평가	평가용 데이터나 지표가 실제 이용자를 대표하지 못함	소수 집단이 거의 없는 벤치마크로 '정확도 99%'
배치 편향	현장 사용	설계 의도와 다른 방식·환경에서 쓰임	참고용 점수를 사실상의 결정 기준으로 사용

표의 유형들은 하나만 나타나지 않고 겹쳐서 나타나는 경우가 많습니다. 그래서 '데이터를 늘리면 해결된다'는 처방은 대표성 편향에는 효과가 있지만, 역사적 편향이나 측정 편향에는 효과가 없습니다. 불평등한 세상을 더 많이 기록할 뿐이고, 잘못된 대리 지표를 더 정밀하게 학습할 뿐이기 때문입니다. 원인 단계를 정확히 짚어야 처방이 맞습니다.

라벨링 단계도 따로 짚어 둘 필요가 있습니다. 라벨은 데이터에 붙이는 정답 이름표로, 사람이 붙이는 경우가 많습니다. '이 댓글은 공격적인가', '이 지원자는 우수한가' 같은 판단은 라벨러의 문화와 기준에 따라 달라집니다. 특정 방언이나 은어를 쓰는 글이 더 공격적이라고 표시되면, 모델은 그 말투 자체를 공격성의 신호로 배웁니다. 라벨링 지침이 모호할수록, 라벨러 집단이 한쪽으로 치우칠수록 이런 측정 편향이 커집니다.

📂 실제 사례로 단계 짚기

이 섹션에서는 널리 알려진 다섯 사례를 앞의 일곱 단계에 비추어 읽어 보겠습니다. 각 사례에서 '어느 단계에서 무엇이 잘못되었는가'를 찾아보는 연습이 이 강의 핵심입니다.

채용: 아마존의 이력서 평가 도구. 로이터 통신은 2018년, 아마존이 2014년부터 개발한 이력서 자동 평가 도구를 폐기했다고 보도했습니다. 이 도구는 과거 10년간 회사에 들어온 이력서로 학습했는데, 기술 직군 지원자가 대부분 남성이었기 때문에 '남성 지원자가 더 낫다'는 패턴을 배웠습니다. 보도에 따르면 '여성 체스 동아리 주장'처럼 '여성(women's)'이라는 단어가 들어간 이력서의 점수를 깎았고, 남성 엔지니어 이력서에 많이 쓰이는 동사를 선호했습니다. 회사는 특정 단어에 중립적이도록 고쳤지만 다른 방식의 차별이 없다고 보장할 수 없어 결국 사업을 접었습니다. 전형적인 역사적 편향이며, 단어 하나를 지워도 모델이 다른 대리 신호를 찾아낸다는 교훈을 남겼습니다.

의료: 비용을 필요의 대리 지표로 쓴 알고리즘. 오버마이어(Obermeyer) 연구팀은 2019년 과학 학술지 「사이언스」에 미국에서 널리 쓰이던 환자 관리 알고리즘을 분석한 결과를 발표했습니다. 논문은 업계 추정으로 이런 부류의 위험 예측 도구가 미국에서 매년 약 2억 명에게 적용된다고 소개합니다. 이 알고리즘은 집중 관리가 필요한 환자를 고르려고 '앞으로 들 의료비'를 예측했습니다. 그런데 의료 접근성의 차이 때문에 같은 정도로 아픈 흑인 환자에게 쓰인 의료비가 백인 환자보다 적었고, 알고리즘은 흑인 환자를 실제보다 건강하다고 판단했습니다. 같은 위험 점수라도 흑인 환자가 더 아팠고, 이 격차를 바로잡으면 추가 관리를 받는 흑인 환자 비율이 17.7%에서 46.5%로 늘어난다고 연구진은 추정했습니다. 인종 정보를 쓰지 않았는데도 생긴 측정 편향의 대표 사례입니다. 연구진이 예측 대상을 비용이 아닌 건강 지표로 바꾸자 편향이 크게 줄었다는 점에서, 처방도 '무엇을 예측하게 할 것인가'를 바꾸는 데 있었습니다.

형사사법: COMPAS 재범 위험 점수. 미국 탐사보도 매체 프로퍼블리카는 2016년 플로리다주 브로워드 카운티에서 체포된 7천여 명의 기록을 분석해, 재범 위험 예측 도구 COMPAS를 검증했습니다. 실제로는 재범하지 않은 사람 가운데 '고위험'으로 잘못 분류된 비율이 흑인 피고인은 44.9%, 백인 피고인은 23.5%로 약 두 배였습니다. 반대로 실제 재범한 사람을 '저위험'으로 잘못 분류한 비율은 백인 쪽이 더 높았습니다. 개발사는 점수별 실제 재범률이 인종과 관계없이 비슷하므로 공정하다고 반박했습니다. 두 주장은 서로 다른 공정성 기준을 쓰고 있었고, 두 기준을 동시에 만족하기는 수학적으로 어렵다는 연구가 뒤따랐습니다. 이 논쟁은 3강 「공정성을 정의하고 측정하기」에서 다룹니다. 여기서 기억할 점은 학습에 쓰인 '재범' 라벨이 실제 범죄가 아니라 재체포 기록이라는 사실입니다. 단속이 집중된 지역과 집단일수록 체포가 많이 기록되므로, 라벨 자체에 측정 편향이 들어 있었습니다.

얼굴인식: Gender Shades. 조이 부올람위니(Joy Buolamwini)와 팀닛 게브루(Timnit Gebru)는 2018년 연구에서 IBM, 마이크로소프트, Face++의 상용 성별 분류 서비스를 피부색과 성별 조합별로 시험했습니다. 밝은 피부 남성의 오류율은 최대 0.8%였지만, 어두운 피부 여성의 오류율은 최대 34.7%에 달했습니다. 학습·평가 데이터에 어두운 피부 여성이 적었던 대표성 편향과, 전체 평균 정확도만 보고 집단별 성능을 확인하지 않은 평가 편향이 겹친 결과입니다. 연구가 발표된 뒤 해당 기업들이 시스템을 개선해 격차를 줄였다는 후속 연구도 나왔습니다. 측정하고 공개하는 것만으로도 개선을 끌어낼 수 있음을 보여 줍니다. 1강의 Rite Aid 사건도 같은 계열의 문제였습니다.

생성형 AI: 직업 이미지의 고정관념. 블룸버그는 2023년 이미지 생성 모델 Stable Diffusion으로 14개 직업과 범죄 관련 주제의 이미지를 5천 장 넘게 만들어 미국 정부 통계와 비교했습니다. 결과는 모델이 현실의 고정관념을 따라 할 뿐 아니라 더 과장한다는 것이었습니다. 고소득 직업은 밝은 피부의 남성으로, 일부 저소득 직업과 범죄 관련 이미지는 어두운 피부로 그려지는 경향이 현실 통계보다 강했습니다. 생성형 AI의 편향은 개별 결정이 아니라 수많은 사람이 매일 보는 이미지와 글을 통해 고정관념을 퍼뜨린다는 점에서 영향의 모양이 다릅니다.

사례	주된 편향 유형	교훈
아마존 채용 도구	역사적 편향	민감 단어를 지워도 다른 대리 신호를 찾아냄
의료 위험 알고리즘	측정 편향(대리 지표)	'무엇을 예측하는가'가 공정성을 좌우
COMPAS	측정 편향(라벨) + 공정성 정의 충돌	정답 라벨도 사회가 만든 기록
Gender Shades	대표성·평가 편향	평균 정확도는 집단별 실패를 가림
Stable Diffusion 이미지	역사적 편향의 증폭	생성 결과가 고정관념을 확산

🔁 실습: 편향은 어떻게 스스로 커지는가

이 섹션에서는 편향이 자동화로 증폭되고 굳어지는 과정을 간단한 시뮬레이션으로 확인하겠습니다. 주제는 예측 치안입니다. 범죄 기록을 보고 순찰할 곳을 정하는 시스템에서, 순찰한 곳에서만 범죄가 기록되면 어떤 일이 생기는지가 연구자들의 오랜 관심사였습니다. 2016년 크리스티안 럼(Kristian Lum)과 윌리엄 아이작(William Isaac)은 미국 오클랜드 데이터로 이 문제를 보였고, 2018년 엔사인(Ensign) 등은 이를 '폭주하는 피드백 루프'로 수학적으로 분석했습니다.

조건은 단순하게 잡았습니다. A와 B 두 지역의 실제 범죄 발생률은 똑같이 50%입니다. 출발점의 기록만 A가 11건, B가 10건으로 한 건 차이 납니다. 매일 한 곳에 순찰을 보내고, 순찰을 간 곳에서만 그날의 범죄가 기록됩니다. 이 조건으로 1년(365일)을 파이썬으로 모의 실험했습니다.

방식 1. 기록이 더 많은 지역에 순찰을 집중
  1년 뒤 기록: A 192건, B 10건

방식 2. 기록 비율대로 확률적으로 순찰 배분(서로 다른 난수로 1,000번 반복)
  A 지역의 기록 점유율: 최소 0.21 · 하위 10% 0.40 · 중앙값 0.53 · 상위 10% 0.65 · 최대 0.80
  점유율이 0.4~0.6 범위를 벗어난 경우: 31.1%

방식 1의 결과는 극적입니다. 두 지역의 범죄 발생률이 같은데도 1년 뒤 기록은 192건 대 10건이 되었습니다. 처음 한 건 차이 때문에 A로만 순찰이 가고, A에서만 범죄가 기록되고, 그 기록이 다시 A로 순찰을 보낸 것입니다. B의 기록은 출발점에서 한 번도 늘지 않았습니다. 데이터만 보면 'A는 위험 지역, B는 안전 지역'이라는 결론이 너무도 분명해 보이고, 이 데이터로 새 모델을 학습시키면 편견은 더 단단해집니다.

방식 2는 더 공정해 보이지만 함정이 있습니다. 실제 범죄 발생률이 같으므로 기록 점유율은 0.5 근처여야 하는데, 1,000번 중 31.1%는 0.4~0.6 범위를 벗어났고 한쪽 점유율이 0.21까지 내려간 경우도 있었습니다. 초기의 우연한 차이가 그대로 굳어 버린 것입니다. 시스템이 자기가 만든 데이터로 자신을 확인하는 구조에서는 진실로 수렴한다는 보장이 없습니다. 이 실험은 현실을 단순화한 것이지만, 구조가 주는 교훈은 분명합니다. 시스템의 결정이 다음 데이터의 수집 범위를 정하면, 데이터는 세상이 아니라 시스템 자신을 반영하게 됩니다.

이 구조는 치안에만 있지 않습니다. 추천 시스템이 노출한 상품만 클릭 데이터가 쌓이고, 대출 심사에서 거절된 사람의 상환 능력은 영영 관측되지 않고, 채용에서 떨어진 지원자의 업무 성과는 기록되지 않습니다. 이를 선택적 라벨 문제라고도 부릅니다. 대응 방법으로는 일부 결정을 무작위로 해서 시스템이 보지 못한 영역의 데이터를 모으는 탐색, 외부의 독립적인 데이터로 주기적으로 대조하는 검증, 그리고 시스템 도입 전후의 집단별 결과를 계속 추적하는 감시가 있습니다.

⚠️ 실무에서 편향을 일찍 발견하는 질문들

이 섹션에서는 기획자와 개발자가 프로젝트 초기에 던져야 할 질문을 단계별로 정리하겠습니다. 편향은 출시 후에 발견할수록 고치기 어렵고 비쌉니다. 1강에서 본 콜링리지 딜레마가 그대로 적용됩니다.

단계	확인 질문	위험 신호
목표 설정	우리가 정말 예측하고 싶은 것과 실제로 예측하는 값이 같은가?	'비용', '체포', '클릭'처럼 접근성·단속·노출에 좌우되는 대리 지표
데이터 수집	이 데이터는 누구의 과거 결정으로 만들어졌는가? 빠진 사람은 누구인가?	과거 결정권자가 한 집단에 치우침, 거절된 사람의 결과가 없음
라벨링	정답은 누가 어떤 지침으로 붙였는가?	모호한 지침, 동질적인 라벨러 집단
특성 선택	민감 정보를 빼도 그것을 대신하는 변수가 남아 있지 않은가?	우편번호·출신 학교·이름·경력 공백처럼 집단과 강하게 연결된 변수
평가	집단별로 나눠서 오류율을 봤는가?	전체 정확도 하나만 보고
배치	현장에서 이 점수를 설계 의도대로 쓰고 있는가? 결과가 다시 학습 데이터가 되는가?	참고용 점수가 자동 결정 기준이 됨, 피드백 루프

특히 흔한 실수는 '민감 정보를 빼면 공정하다'는 믿음입니다. 아마존 도구도, 의료 알고리즘도 성별이나 인종을 직접 입력으로 쓰지 않았습니다. 이렇게 민감 정보를 지우는 방식을 '무지를 통한 공정성(fairness through unawareness)'이라고 부르는데, 다른 변수들이 대리 신호 역할을 하면 효과가 없습니다. 오히려 민감 정보를 지워 버리면 집단별 결과를 측정할 수 없게 되어 편향을 발견하는 길까지 막힐 수 있습니다. 개인정보 보호 원칙과 균형을 맞춰야 하지만, 공정성 검증 목적으로 집단 정보를 안전하게 관리하며 쓰는 방법을 고민해야 합니다. 이 균형은 5강의 개인정보 주제와도 연결됩니다.

또 하나는 '편향 제거'를 한 번의 작업으로 여기는 것입니다. 이용자 구성이 바뀌고, 현장의 사용 방식이 바뀌고, 피드백 루프가 데이터를 바꿉니다. 출시 전 점검과 함께 운영 중 집단별 지표를 정기적으로 확인하는 체계가 필요하며, 이는 17강의 영향 평가와 감사에서 구체적인 문서 양식과 함께 다룹니다.

📝 핵심 요약과 다음 강 예고

핵심 개념	정리
편향의 뜻	특정 집단에 체계적으로 불리·유리한 결과. 통계적으로 정확한 모델도 불공정할 수 있음
AI에서 더 위험한 이유	규모(수백만 건 동일 기준), 보이지 않음, 고착(결정이 다음 데이터가 됨)
일곱 단계	역사적·대표성·측정·집계·학습·평가·배치 편향 — 원인 단계에 맞는 처방 필요
대표 사례	아마존 채용(역사), 의료 알고리즘 17.7%→46.5%(측정), COMPAS 44.9% vs 23.5%(라벨), Gender Shades 34.7% vs 0.8%(대표성·평가)
피드백 루프 실습	같은 범죄율에서도 1건 차이가 1년 뒤 192 대 10, 비율 배분도 31.1%가 0.4~0.6 이탈
실무 원칙	민감 정보 삭제만으로는 불충분, 집단별 평가와 운영 중 감시가 필수

편향을 찾으려면 결국 '공정하다'는 것이 무엇인지 정해야 합니다. 그런데 COMPAS 논쟁에서 보았듯, 그럴듯한 공정성 기준이 여럿이고 서로 충돌합니다. 다음 3강 「공정성을 정의하고 측정하기」에서는 대표적인 공정성 지표들을 실제 숫자로 계산해 보고, 왜 모든 기준을 동시에 만족할 수 없는지, 그렇다면 상황마다 어떤 기준을 골라야 하는지 살펴보겠습니다.

AI 편향은 어디서 오는가: 데이터와 설계의 그림자