여론조사는 왜 가끔 크게 틀리는가

🎯 학습 목표

이 강을 마치면 여러분은 제대로 만들고 신중하게 읽었는데도 여론조사가 현실과 크게 어긋나는 이유를 구체적 사례로 설명할 수 있습니다. 구체적으로는 샤이 보터, 막판 변심, 표본 편향과 가중치 실패라는 대표적 실패 원인을 이해하고, 출구조사와 사전조사의 차이를 알며, 예측 실패가 알려 주는 여론조사의 근본적 한계를 정리하게 됩니다.

9·10강에서 우리는 여론조사를 만들고 읽는 법을 배웠습니다. 그러나 모든 정성을 들여도 조사는 가끔 크게 틀립니다. 중요한 것은 '조사는 못 믿어'라는 냉소가 아니라, 왜 틀리는지를 알아 더 현명하게 활용하는 것입니다. 실패에서 배우는 것이 오늘의 목표입니다.

📰 듀이가 트루먼을 이긴다? — 1948의 교훈

이 섹션에서는 여론조사 역사상 가장 유명한 실패, 1948년 미국 대선을 살펴보겠습니다. 당시 거의 모든 조사가 공화당의 듀이 승리를 점쳤고, 한 신문은 개표도 끝나기 전에 '듀이가 트루먼을 이겼다(Dewey Defeats Truman)'는 1면을 인쇄했습니다. 그러나 실제 승자는 트루먼이었습니다. 갤럽의 최종 조사는 듀이 49.9% 대 트루먼 45.1%로 예측했지만, 결과는 트루먼 49.6% 대 듀이 45.1%로 뒤집혔습니다.

원인은 두 가지였습니다. 첫째, 당시 널리 쓰이던 할당표본(quota sampling)입니다. 조사원이 '성·연령·지역 할당량'만 채우면 응답자를 자유롭게 고를 수 있게 했는데, 조사원들이 무의식적으로 만나기 편하고 안정적인 — 상대적으로 공화당 성향이 강한 — 사람들을 더 많이 골랐습니다. 무작위가 아니었던 것입니다.

둘째, 조사를 너무 일찍 끝낸 것입니다. 갤럽은 선거 몇 주 전 조사를 멈췄는데, 막판에 트루먼 지지로 마음을 정한 부동층의 변화를 포착하지 못했습니다. 이 충격적 실패 이후, 여론조사 업계는 할당표본을 버리고 확률표본(무작위 추출)으로 전환하는 큰 변화를 겪었습니다. 9강에서 '무작위성이 핵심'이라고 했던 원칙은 바로 이 뼈아픈 실패에서 확립된 것입니다.

🤫 샤이 보터와 막판 변심 — 마음을 숨기거나 바꾸는 사람들

이 섹션에서는 표본을 잘 뽑아도 발생하는 두 가지 인간적 변수, 샤이 보터(shy voter)와 막판 변심(late swing)을 살펴보겠습니다.

샤이 보터란 자신의 실제 지지 후보를 조사에서 솔직히 밝히지 않는 유권자를 말합니다. 사회적으로 떳떳하지 않게 여겨지거나 비난받을 것 같은 선택일수록, 사람들은 조사원 앞에서 진심을 숨기거나 '모름'으로 답합니다. 이 용어는 1992년 영국 총선에서 유래했습니다. 당시 조사는 접전을 예측했지만 보수당이 예상보다 크게 이겼는데, 보수당 지지를 드러내길 꺼린 이른바 '샤이 토리(shy Tory)'가 한 원인으로 지목되었습니다. 흥미롭게도 같은 날 출구조사조차 보수당 우세를 과소평가했습니다.

막판 변심은 조사 시점 이후 마음을 바꾸는 현상입니다. 여론조사는 '조사한 그 순간'의 사진일 뿐, 투표일까지의 변화는 담지 못합니다. 2016년 영국 브렉시트 국민투표가 대표적입니다. 다수 조사가 잔류(Remain) 우세나 박빙을 점쳤지만, 실제로는 탈퇴(Leave)가 51.9% 대 48.1%로 승리했습니다. 막판 표심의 출렁임과 결정 못한 유권자의 향배를 조사가 충분히 잡아내지 못한 것입니다. 이 두 변수는 '조사는 미래가 아니라 현재를 측정한다'는 한계를 분명히 보여 줍니다.

⚖️ 표본 편향과 가중치 실패 — 2016 미국의 교훈

이 섹션에서는 보다 기술적이지만 현대 여론조사의 핵심 약점을 드러낸 사례, 2016년 미국 대선을 살펴보겠습니다. 이 사례는 '응답하는 사람과 응답하지 않는 사람이 다르다'는 무응답 편향의 위력을 보여 줍니다.

흔한 오해와 달리, 2016년 미국의 전국 단위 조사는 크게 틀리지 않았습니다. 클린턴이 전국 득표에서 앞설 것이라 봤고, 실제로 그녀는 전국 득표에서 앞섰습니다. 문제는 승부를 가른 주(州) 단위 조사였습니다.

미국여론조사협회(AAPOR)의 사후 분석에 따르면, 핵심 원인 중 하나는 학력에 따른 가중치를 적용하지 않은 것이었습니다. 일반적으로 고학력층이 여론조사에 더 적극적으로 응답하는 경향이 있는데, 2016년에는 학력과 후보 지지 사이에 강한 상관이 있었습니다. 즉 응답을 많이 한 고학력층은 한 후보에, 응답을 덜 한 저학력층은 다른 후보에 쏠렸던 것입니다. 그런데 상당수 주 단위 조사가 학력으로 표본을 보정하지 않아, 결과가 한쪽으로 기울었습니다. 9강에서 본 '가중치 보정'이 제대로 이뤄지지 않으면 어떤 일이 벌어지는지를 보여 준 교과서적 사례입니다.

이 사례의 교훈은 미묘합니다. 조사가 틀리는 것은 종종 '거짓말하는 응답자' 때문이 아니라, '누가 응답에 더 많이 참여하느냐'라는 보이지 않는 구조 때문이라는 것입니다. 그래서 같은 실패를 막으려면 끊임없이 가중치 방법을 점검하고 개선해야 합니다.

🚪 출구조사와 사전조사의 차이

이 섹션에서는 자주 혼동되는 두 종류의 조사, 사전조사와 출구조사의 차이를 정리하겠습니다. 둘은 측정하는 대상도, 약점도 다릅니다.

사전조사는 선거 전에 '투표할 의향과 지지 후보'를 묻습니다. 가장 큰 난점은 '누가 실제로 투표할 것인가'를 알 수 없다는 것입니다. 응답자가 '투표하겠다'고 답해도 실제로는 기권할 수 있습니다. 그래서 조사기관은 '투표 가능성이 높은 유권자(likely voter)'를 추려내는 모형을 쓰는데, 이 추정이 빗나가면 결과도 빗나갑니다. 또한 앞서 본 막판 변심도 사전조사의 약점입니다.

출구조사는 투표를 마치고 나오는 사람에게 묻습니다. '실제로 투표한 사람'을 대상으로 한다는 점에서 사전조사의 약점을 비켜갑니다. 그래서 보통 더 정확하지만, 출구조사에도 약점이 있습니다. 첫째, 응답을 거부하는 사람의 성향이 한쪽으로 기울 수 있습니다(1992년 영국 사례). 둘째, 사전투표·우편투표가 늘어난 오늘날에는 투표소 앞 조사만으로는 그들을 포착하기 어려워, 별도 보정이 필요합니다. 한국에서 선거일 밤 방송사들이 발표하는 '예측'은 바로 이 출구조사에 기반한 것입니다.

⚠️ 흔한 오해와 조사의 한계

이 섹션에서는 폴링 실패를 둘러싼 오해를 바로잡고, 조사의 한계를 정리하겠습니다. 첫째 오해는 '한 번 크게 틀렸으니 여론조사는 쓸모없다'는 생각입니다. 사실 유명한 실패는 '드물기 때문에' 기억에 남는 것입니다. 대다수 선거에서 잘 설계된 조사는 상당히 정확하며, 업계는 실패할 때마다 방법을 개선해 왔습니다. 1948년의 실패가 확률표본을, 2016년의 실패가 학력 가중치를 표준으로 만든 것처럼 말입니다.

둘째 오해는 '조사는 미래를 예언한다'는 기대입니다. 여론조사는 예언이 아니라 '조사 시점의 스냅사진'입니다. 그 뒤의 변심, 투표율의 변동, 숨은 표심은 사진 밖의 일입니다. 따라서 조사는 '확정된 결과'가 아니라 '현재의 경향'으로 받아들여야 합니다.

유권자로서 얻을 교훈은 이렇습니다. 단일 조사 하나에 일희일비하지 말고 여러 조사의 추세를 보되, 그 모든 숫자에 '틀릴 수 있는 폭'이 있음을 늘 염두에 두는 것입니다. 그리고 11강까지 배운 모든 것의 결론은 하나입니다 — 숫자는 강력한 참고 자료이지, 투표를 대신해 주는 결정이 아닙니다.

📝 핵심 요약

오늘은 여론조사가 크게 틀리는 이유를 사례로 분석했습니다.

• 1948 듀이-트루먼: 할당표본과 너무 이른 조사 종료가 막판 변심을 놓쳤습니다. 이후 확률표본으로 전환되었습니다.
• 샤이 보터·막판 변심: 진심을 숨기거나(1992 샤이 토리) 막판에 마음을 바꾸면(2016 브렉시트 51.9% 탈퇴) 조사가 빗나갑니다.
• 표본 편향·가중치 실패: 2016 미국 주 단위 조사는 학력 가중치를 빠뜨려 한쪽으로 기울었습니다. 무응답 편향의 위력입니다.
• 출구 vs 사전: 사전조사는 '누가 투표할지'가, 출구조사는 '응답 거부·사전투표'가 약점입니다.

지금까지 우리는 여론조사라는 '숫자의 세계'(9~11강)를 마쳤습니다. 다음 12강 「미디어의 의제설정 — 무엇을 생각할지 정하는 힘」부터는 네 번째 영역, 곧 그 숫자와 정보를 우리에게 전달하고 가공하는 미디어의 힘으로 들어가겠습니다.

📚 참고 자료

• Dewey Defeats Truman — Wikipedia
• Shy Tory factor — Wikipedia
• An Evaluation of 2016 Election Polls in the U.S. — AAPOR
• 2016 United Kingdom EU membership referendum — Wikipedia