5강. 프라이버시와 개인정보: 학습 데이터의 딜레마 | AI 윤리·안전·글로벌 규제 · 입문 — 누구나패스

🎯 학습 목표

이 강을 마치면 AI와 개인정보보호가 충돌하는 지점을 데이터 수집, 모델 내부, 서비스 이용의 세 단계로 나눠 설명할 수 있습니다. 웹에서 모은 학습 데이터에 개인정보가 섞이는 구조, 모델이 학습 데이터를 통째로 외웠다가 다시 내뱉는 암기(memorization) 현상의 실험적 증거, 이에 대한 유럽과 한국 감독기관의 판단 기준을 이해하게 됩니다. 또 잊힐 권리를 모델에 적용하려는 머신 언러닝의 현실, 직접 실행한 실습으로 확인하는 차등 프라이버시의 원리, 그리고 연합학습의 가능성과 한계를 정리해 실무에서 쓸 수 있는 대응 원칙을 갖추게 됩니다.

🌐 학습 데이터 속의 개인정보: 무엇이 문제인가

이 섹션에서는 대규모 AI 모델이 왜 개인정보 문제를 피하기 어려운지 살펴보겠습니다. 대규모 언어 모델과 이미지 생성 모델은 인터넷에서 대량으로 수집한 텍스트와 이미지로 학습합니다. 이렇게 자동으로 웹 페이지를 돌며 내용을 모으는 일을 웹 크롤링 또는 스크래핑이라 합니다. 웹에는 블로그 글, 게시판 댓글, 개인 홈페이지, 뉴스 기사, 이력서, 공개 소셜미디어 게시물이 섞여 있고, 그 안에는 이름, 연락처, 주소, 얼굴 사진, 건강이나 정치 성향을 짐작하게 하는 글이 들어 있습니다.

여기서 첫 번째 쟁점이 생깁니다. '공개된 정보는 마음대로 써도 되는가?' 대부분의 개인정보 보호법은 공개된 정보라도 개인정보라는 성격이 사라지지 않는다고 봅니다. 공개한 사람은 특정한 맥락, 예를 들어 친구에게 보여 주거나 구직 사이트에서 채용 담당자에게 보여 주려고 공개했을 뿐, AI 학습에 쓰이는 것까지 예상하지는 않았을 수 있습니다. 1강의 Clearview AI 과징금이 이 원칙을 보여 줍니다.

그렇다고 모든 AI 학습에 일일이 동의를 받을 수도 없습니다. 수십억 개 웹 페이지의 작성자 모두에게 동의를 받는 것은 불가능하기 때문입니다. 그래서 각국 감독기관은 동의 대신 정당한 이익이라는 법적 근거를 엄격한 조건과 함께 인정하는 방향으로 기준을 세우고 있습니다. 한국 개인정보보호위원회는 2024년 7월 「AI 개발·서비스를 위한 공개된 개인정보 처리 안내서」에서, 공개된 개인정보를 AI 학습에 쓸 때 개인정보보호법 제15조 제1항 제6호의 정당한 이익 조항이 근거가 될 수 있다고 밝혔습니다. 다만 처리자의 정당한 이익이 있고, 처리가 그 목적에 필요하며 상당한 관련성과 합리성이 있고, 처리자의 이익이 정보주체의 권리보다 명백히 우선해야 한다는 세 요건을 충족해야 하며, 안전조치를 함께 시행해야 합니다. 개인정보위는 2025년 8월에는 생성형 AI의 개발과 활용 전 과정을 다룬 처리 안내서도 내놓았습니다.

유럽에서는 유럽개인정보보호이사회(EDPB)가 2024년 12월 17일 「의견 28/2024」를 채택했습니다. 핵심은 두 가지입니다. 첫째, 개인정보로 학습한 AI 모델은 기본적으로 익명이라고 볼 수 없으며 사례별로 판단해야 합니다. 모델이 익명이라고 인정받으려면 학습에 쓰인 개인의 정보를 직간접적으로 추출할 가능성과 질문을 통해 얻게 될 위험이 모두 무시할 만한 수준이어야 합니다. 둘째, 정당한 이익은 AI 학습의 근거가 될 수 있지만, 목적의 정당성, 처리의 필요성, 정보주체 권리와의 균형이라는 3단계 검토를 통과해야 합니다. '모델은 숫자 덩어리일 뿐 개인정보를 담고 있지 않다'는 주장이 그대로 받아들여지지 않는다는 뜻이며, 그 근거가 다음 섹션의 암기 현상입니다.

두 번째 쟁점은 서비스 이용 단계입니다. 이용자가 챗봇에 입력하는 내용도 개인정보이고, 회사의 영업비밀일 수 있습니다. 한국 개인정보위는 2025년 2월 중국 AI 서비스 딥시크(DeepSeek)의 국내 앱 신규 다운로드를 잠정 중단시켰습니다. 4월 발표한 점검 결과에서 딥시크가 한국 이용자의 개인정보를 중국과 미국의 여러 회사로 이전했고, 이용자가 입력한 프롬프트 내용을 중국 회사인 베이징 볼케이노 엔진으로 보냈다고 밝혔습니다. 개인정보위는 국외 이전의 법적 근거를 갖추고 이미 넘어간 입력 내용을 즉시 삭제하는 등의 시정을 권고했고, 딥시크가 이를 받아들여 4월 28일 신규 다운로드를 재개했습니다. AI 서비스를 도입하는 기업은 입력 데이터가 어디로 가서 어떻게 쓰이는지를 확인해야 한다는 교훈을 남겼습니다.

🧠 모델은 학습 데이터를 기억하고 다시 말한다

이 섹션에서는 모델 암기가 실제로 개인정보 유출로 이어질 수 있다는 연구 결과를 살펴보겠습니다. 모델은 데이터의 일반적인 패턴을 배우는 것이 목적이지만, 일부 데이터는 문장 그대로 외워 버립니다. 이를 암기라 하고, 외운 내용을 질문으로 끄집어내는 공격을 학습 데이터 추출 공격이라 합니다.

니컬러스 칼리니(Nicholas Carlini) 등은 2021년 GPT-2를 대상으로 한 실험에서 학습 데이터에 있던 문장 수백 개를 원문 그대로 뽑아냈습니다. 그 안에는 이름, 전화번호, 이메일 주소 같은 개인 식별 정보와 대화 기록, 코드, 무작위 식별자까지 있었습니다. 특히 우려스러운 점은 일부 문장이 학습 데이터 전체에서 단 하나의 문서에만 있었는데도 추출되었다는 것, 그리고 모델이 클수록 더 많이 외운다는 사실이었습니다. 모델이 커지는 추세를 생각하면 문제는 줄어들기보다 커질 수 있습니다.

2023년 11월 같은 연구 그룹의 밀라드 나스르(Milad Nasr) 등은 공개 모델뿐 아니라 상용 서비스인 ChatGPT에서도 학습 데이터를 추출할 수 있음을 보였습니다. 정렬 학습으로 대화형 답변만 하도록 다듬어진 모델을 대화 모드에서 벗어나게 만드는 발산 공격을 개발해, 정상적으로 작동할 때보다 150배 높은 비율로 학습 데이터를 쏟아내게 했습니다. 연구진은 오픈소스 모델에서 기가바이트 단위의 학습 데이터를 추출할 수 있었다고 보고하며, 현재의 정렬 기법이 암기 자체를 없애지는 못한다고 결론지었습니다. 이미지 모델도 예외가 아닙니다. 2023년 1월 칼리니 등은 Stable Diffusion 같은 확산 모델에서 실존 인물의 사진을 포함한 학습 이미지 천여 개를 거의 그대로 다시 생성해 냈습니다.

암기 외에도 모델을 통한 개인정보 위험은 여러 형태가 있습니다. 구성원 추론 공격은 특정인의 데이터가 학습에 쓰였는지를 알아내는 공격입니다. 특정 질병 환자들의 기록으로 학습한 모델이라면, 어떤 사람의 데이터가 학습에 쓰였다는 사실만으로 그 사람의 병이 드러납니다. 속성 추론은 모델의 출력에서 학습 데이터 속 개인의 숨은 속성을 짐작하는 것입니다. 이 세 가지 공격은 EDPB가 모델의 익명성을 판단할 때 고려하라고 한 위험이기도 합니다.

실무에서 주는 교훈은 학습 전 단계에서 위험을 줄여야 한다는 것입니다. 학습 데이터에서 주민등록번호, 전화번호, 이메일, 계좌번호 같은 식별 정보를 찾아 지우거나 가리는 작업, 같은 문서가 여러 번 들어가지 않게 하는 중복 제거, 민감한 사이트를 수집 대상에서 빼는 작업이 기본입니다. 연구에 따르면 여러 번 반복된 데이터일수록 더 잘 암기되므로 중복 제거는 효과적인 대책입니다. 그리고 출력 단계에서 개인정보 패턴을 걸러 내는 필터를 둡니다. 어느 것도 완벽하지 않으므로 여러 겹으로 쌓아야 합니다.

🗑️ 잊힐 권리와 머신 언러닝

이 섹션에서는 '내 정보를 지워 달라'는 요구를 AI 모델에 어떻게 적용할 수 있는지 살펴보겠습니다. GDPR 제17조는 일정한 경우 개인정보의 삭제를 요구할 권리, 흔히 잊힐 권리라 부르는 권리를 정하고 있고, 한국 개인정보보호법도 정보주체의 삭제 요구권을 둡니다. 데이터베이스라면 해당 행을 지우면 되지만, 이미 학습이 끝난 모델은 사정이 다릅니다. 한 사람의 정보는 수십억 개의 가중치에 미세하게 흩어져 있어서 어디를 지워야 할지 알 수 없습니다.

가장 확실한 방법은 해당 데이터를 뺀 뒤 모델을 처음부터 다시 학습하는 것이지만, 대형 모델 한 번 학습에 수많은 GPU와 긴 시간이 들기 때문에 삭제 요청마다 재학습하는 것은 현실적이지 않습니다. 그래서 다시 학습하지 않고 특정 데이터의 영향만 제거하려는 연구 분야가 머신 언러닝(machine unlearning)입니다. 설계 단계부터 대비하는 방법으로는 2019년 제안된 SISA 방식이 있습니다. 데이터를 여러 조각으로 나눠 조각마다 따로 모델을 학습시키고 결과를 합치면, 삭제 요청이 들어왔을 때 해당 조각의 모델만 다시 학습하면 됩니다.

이미 학습된 대형 모델에 대한 근사적 언러닝도 시도되고 있습니다. 마이크로소프트 연구진은 2023년 「해리 포터가 누구지?」 연구에서, 사전 학습에 18만 4천 GPU 시간 이상 걸린 Llama 2 7B 모델을 약 1 GPU 시간의 추가 미세조정만으로 해리 포터 관련 내용을 생성하거나 떠올리지 못하게 만들었다고 보고했습니다. 그러나 2024년 린치(Lynch) 등은 이 모델을 여덟 가지 방법으로 검증한 결과, 질문 방식을 바꾸면 지워졌다던 지식이 기준 모델보다 높은 수준으로 남아 있음을 확인했습니다. 겉으로 대답하지 않는 것과 실제로 잊은 것은 다르다는 뜻입니다.

방법	원리	장점	한계
완전 재학습	해당 데이터를 빼고 처음부터 학습	확실함	대형 모델은 비용·시간이 막대
SISA(분할 학습)	데이터 조각별 모델 → 해당 조각만 재학습	정확한 삭제를 비교적 싸게	설계 단계부터 적용해야, 성능 손실 가능
근사 언러닝(미세조정)	추가 학습으로 특정 지식의 출력 억제	빠르고 저렴	지식이 남아 있을 수 있음, 검증 방법이 아직 미성숙
출력 필터	특정 정보가 답변에 나오지 않게 차단	즉시 적용	모델 안의 정보는 그대로, 우회 가능

현재로서는 대형 생성 모델에서 특정 개인의 정보를 확실히 지웠다고 증명할 방법이 확립되어 있지 않습니다. 그래서 실무에서는 삭제 요청을 받으면 학습 데이터 원본과 검색 데이터베이스에서 지우고, 출력 필터로 해당 정보가 나오지 않게 막고, 다음 모델 학습부터는 제외하는 조합을 쓰는 경우가 많습니다. 처음부터 학습 데이터에 어떤 개인정보가 들어갔는지 추적할 수 있도록 데이터 출처를 기록해 두는 것이 이후 모든 대응의 전제입니다.

🔐 실습: 차등 프라이버시는 어떻게 개인을 숨기는가

이 섹션에서는 수학적으로 개인정보 보호를 보장하는 대표 기술인 차등 프라이버시(differential privacy)를 직접 실험해 보겠습니다. 차등 프라이버시는 2006년 신시아 드워크(Cynthia Dwork) 등이 정식화한 개념으로, 어떤 한 사람의 데이터가 들어가든 빠지든 분석 결과가 거의 달라지지 않게 만들어 결과만 보고는 그 사람에 대해 알 수 없게 하는 것입니다. 보통 결과에 계산된 크기의 잡음을 더해 구현합니다. 보호 강도는 ε(엡실론)으로 나타내며, 작을수록 잡음이 커지고 보호가 강해지는 대신 결과의 정확도가 떨어집니다.

왜 이런 장치가 필요한지 먼저 확인해 보겠습니다. 직원 200명의 연봉 데이터에서 개인 연봉은 공개하지 않고 합계만 알려 주는 시스템이 있다고 합시다. 공격자가 '전체 합계'와 '0번 직원을 뺀 합계'를 차례로 물어 빼기만 하면 0번 직원의 연봉이 그대로 드러납니다. 이를 차분 공격이라 합니다. 이어서 합계에 라플라스 분포의 잡음을 더하는 라플라스 메커니즘을 적용했습니다. 한 사람이 합계를 바꿀 수 있는 최대 폭(민감도)을 1억 원(1만 만 원)으로 제한하고, ε을 바꿔 가며 같은 공격을 1,000번씩 시도했습니다.

import numpy as np

rng = np.random.default_rng(0)
salaries = rng.integers(3500, 7000, size=200).astype(float)   # 직원 200명 연봉(만 원)
salaries[0] = 9800                                              # 0번 직원: 연봉을 숨기고 싶은 사람

# ① 차분 공격: '전체 합계'와 '0번을 뺀 합계'를 각각 물어보면 한 사람의 값이 드러난다
print("차분 공격으로 알아낸 0번 연봉:", salaries.sum() - salaries[1:].sum())

# ② 라플라스 메커니즘: 합계에 잡음을 더해 공개. 한 사람이 바꿀 수 있는 최대 폭(민감도)을 1만으로 제한
SENS = 10000
def dp_sum(values, eps):
    clipped = np.clip(values, 0, SENS)
    return clipped.sum() + rng.laplace(scale=SENS / eps)

for eps in [0.1, 1.0, 10.0]:
    guesses = [dp_sum(salaries, eps) - dp_sum(salaries[1:], eps) for _ in range(1000)]
    err = np.abs(np.array([dp_sum(salaries, eps) for _ in range(1000)]) - salaries.sum())
    print(f"ε={eps:>4}: 차분 공격 추정 중앙값 {np.median(guesses):8.0f}, 추정값의 50% 구간 폭 {np.subtract(*np.percentile(guesses, [75, 25])):7.0f}"
          f" | 전체 합계 상대오차 중앙값 {np.median(err) / salaries.sum() * 100:.2f}%")

차분 공격으로 알아낸 0번 연봉: 9800.0
ε= 0.1: 차분 공격 추정 중앙값    18188, 추정값의 50% 구간 폭  250632 | 전체 합계 상대오차 중앙값 6.04%
ε= 1.0: 차분 공격 추정 중앙값     9623, 추정값의 50% 구간 폭   23491 | 전체 합계 상대오차 중앙값 0.64%
ε=10.0: 차분 공격 추정 중앙값     9819, 추정값의 50% 구간 폭    2421 | 전체 합계 상대오차 중앙값 0.07%

잡음이 없을 때는 차분 공격으로 0번 직원의 연봉 9,800만 원이 정확히 드러났습니다. 차등 프라이버시를 적용하자 상황이 바뀌었습니다. ε=1에서 공격자가 한 번 시도해 얻는 추정값은 중간 50%만 봐도 폭이 약 2억 3천만 원에 이릅니다. 실제 값 9,800만 원과 평범한 연봉 5,000만 원을 구분할 수 없는 수준입니다. 그러면서도 전체 합계는 상대오차 중앙값 0.64%로 정확하게 공개됩니다. 집단 통계는 쓸 만하고 개인은 숨겨지는 것, 이것이 차등 프라이버시의 목표입니다. ε=0.1이면 개인 보호는 더 강하지만 합계 오차가 6.04%로 커지고, ε=10이면 합계는 0.07% 오차로 매우 정확하지만 한 번의 추정 폭이 약 2,400만 원으로 좁아져 보호가 약해집니다. ε 선택이 곧 정확도와 보호 사이의 선택입니다.

표에서 주의 깊게 볼 부분이 하나 더 있습니다. 1,000번 시도한 추정값의 중앙값은 ε=1에서 9,623, ε=10에서 9,819로 실제 값 9,800에 가깝습니다. 같은 질문을 계속 반복하면 잡음이 평균에서 상쇄되어 결국 진짜 값이 드러난다는 뜻입니다. 그래서 차등 프라이버시에서는 프라이버시 예산이라는 개념이 중요합니다. 질문할 때마다 ε이 누적되어 소모되므로, 같은 데이터에 대한 질문의 총량을 제한해야 합니다. 이 실험에서 1,000번 반복한 것은 사실상 예산을 1,000배 넘게 쓴 셈입니다.

차등 프라이버시는 실제로 쓰이고 있습니다. 미국 인구조사국은 2020년 인구조사 결과 공개에 차등 프라이버시를 적용했고, 모델 학습에는 2016년 아바디(Abadi) 등이 제안한 DP-SGD가 표준적으로 쓰입니다. 학습 중 각 데이터가 모델 업데이트에 주는 영향을 일정 크기로 자르고 잡음을 더하는 방식입니다. 구글은 2025년 9월 차등 프라이버시로 처음부터 학습한 10억 매개변수 공개 모델 VaultGemma를 발표했습니다. 1,024토큰 길이의 문장 단위로 ε≤2.0을 보장하지만, 구글 스스로 성능이 대략 5년 전의 비공개(비보호) 모델 수준이라고 설명했습니다. 차등 프라이버시가 대형 모델에도 가능해지고 있지만 아직 성능 비용이 크다는 현실을 보여 줍니다.

연합학습(federated learning)은 다른 방향의 대응입니다. 2017년 구글의 맥머핸(McMahan) 등이 제안한 방식으로, 데이터를 서버로 모으지 않고 각 기기나 기관에서 모델을 학습시킨 뒤 모델 업데이트만 모아 합칩니다. 스마트폰 키보드의 단어 예측처럼 개인 기기에 흩어진 데이터나, 병원마다 따로 보관된 의료 데이터를 활용할 때 쓰입니다. 다만 원본 데이터가 이동하지 않을 뿐, 모델 업데이트에서 원본을 일부 추정하는 공격이 연구되어 있으므로 그 자체로 완전한 보호는 아닙니다. 그래서 차등 프라이버시나 업데이트를 암호화한 채 합치는 보안 집계와 함께 쓰는 경우가 많습니다.

⚠️ 실무 체크리스트와 흔한 실수

이 섹션에서는 AI를 개발하거나 도입하는 조직이 개인정보와 관련해 자주 저지르는 실수와 점검 항목을 정리하겠습니다.

단계	점검 항목	흔한 실수
수집	법적 근거(동의·정당한 이익 등)와 수집 범위, 출처 기록	'공개된 정보니까 괜찮다', 다른 목적으로 모은 데이터 재사용(1강 이루다)
전처리	식별 정보 제거·가명 처리, 중복 제거, 민감 정보 분류	정규 표현식 한 번으로 끝냈다고 가정
학습	차등 프라이버시 등 보호 기법 적용 여부와 이유 기록	'모델은 익명'이라고 단정(EDPB는 기본적으로 익명 아님)
서비스	입력 데이터의 저장·학습 사용·국외 이전 여부 고지, 출력 필터	외부 AI API에 고객 정보와 내부 문서를 그대로 입력
권리 대응	삭제·열람·처리 정지 요구 처리 절차, 언러닝 한계의 정직한 안내	'모델에서 완전히 지웠다'고 확인 없이 답변

특히 기업 내부에서 가장 흔한 사고는 학습보다 이용 단계에서 일어납니다. 직원이 업무 편의를 위해 고객 명단이나 내부 문서, 소스코드를 외부 AI 서비스에 붙여 넣는 경우입니다. 서비스 종류와 요금제에 따라 입력 내용이 저장되거나 학습에 쓰일 수 있으므로, 사내에서 쓸 수 있는 AI 서비스와 입력해도 되는 정보의 등급을 정해 안내해야 합니다. 많은 기업용 요금제는 입력 데이터를 학습에 쓰지 않는다는 조건을 제공하므로 계약 조건을 확인하는 것이 출발점입니다. 이는 16강의 거버넌스 체계에서 사내 AI 사용 정책으로 구체화합니다.

📝 핵심 요약과 다음 강 예고

핵심 개념	정리
공개 정보의 학습	공개돼도 개인정보, 근거는 정당한 이익 등 — 한국 개인정보위 안내서(2024.7) 3요건, EDPB 의견 28/2024 3단계 검토
모델 암기	GPT-2에서 수백 개 원문 추출(큰 모델일수록 취약), ChatGPT 발산 공격으로 150배, 확산 모델에서 천여 장 추출 → 모델은 기본적으로 익명 아님
서비스 단계	입력 데이터의 국외 이전·학습 사용 확인(딥시크 사례: 2025.2 중단 → 4.28 재개)
언러닝	재학습·SISA·근사 언러닝·출력 필터, 근사 언러닝은 지식이 남을 수 있음(해리 포터 연구 재검증)
차등 프라이버시 실습	잡음 없으면 차분 공격으로 9,800 그대로 노출, ε=1이면 1회 추정 폭 약 2.3억·합계 오차 0.64%, 반복 질문은 예산 소모
최신 기술	VaultGemma(1B, ε≤2.0, 성능은 약 5년 전 수준), 연합학습은 보안 집계·차등 프라이버시와 병행

프라이버시와 개인정보: 학습 데이터의 딜레마