기사 상세
선거철 언론은 여론조사 결과 보도로 부산스럽다. 그러나 보도하는 언론은 물론 이를 보는 유권자도 여론조사를 크게 신뢰하지 않는다. 누구도 믿지 않는다는 여론조사. MBC <여론조사를 조사하다:여론M>의 사례를 통해 여론조사 보도에 있어 언론의 역할을 확인해본다. 편집자 주
“그때 그 조사 아니었으면 내가 여기까지도 안 왔다.”
윤석열 당선인이 대권 행보를 본격화한 시점, 한 신문사의 대권 주자 여론조사1)를 두고 한 말이다.2) 2020년 1월 말에 실시된 이 조사에서 윤 당선인은 10.8%의 선호도를 기록하며 처음으로 10%를 넘겼다.3) 보수 진영에서 가장 높은 지지를 받던 황교안 당시 당대표를 오차 범위 내에서 앞섰다. 이 조사로 언론도, 유권자도, 윤석열 당시 검찰총장을 주목하기 시작했다. 윤 당선인 본인도 869개에 이르는 제20대 대선 여론조사 중, 이 조사를 또렷이 기억하고 있다.
여론조사가 가진 힘은 이렇듯 숫자가 주는 단순함에 머물지 않는다. 한정된 자원인 뉴스 시간을, 지면을, 그리고 유권자의 관심을 어디에 쏟아야할지 알려주고, 선거 전반에서 이뤄지는 의사 결정의 단단한 근거로 작동한다. 그야말로 선거와 여론조사는 불가분의 관계다.
아이러니한 것은 이렇게 여론조사에 대한 의존도가 높으면서도, 여론조사에 대한 불신이 팽배하다는 점이다. 여론조사를 의뢰하고 보도하면서도 여론조사를 믿지 않는 언론사, 지지율 기사를 열성적으로 클릭하면서도 믿지 않는다고 댓글을 다는 유권자, 그리고 나에게 유리한 조사만 인용하는 정치인까지 모두 여론조사를 믿지 못 하겠다고 한다.
지난 대선 레이스에서 거대 양당 후보자가 확정된 이후 하루에 3.2개의 여론조사가 쏟아졌다. 그런데 같은 날 나온 조사에서 1, 2위가 다르기도 하고, 같은 후보자 지지율이 10%p까지 차이나는 등 결과가 들쭉날쭉했던 기억을 돌이켜보면, 이런 유권자들의 반응이 이해 안 되는 건 아니다. 지지층을 결집시키고 선거운동을 해야하는 정치인들이 유리한 조사를 더 많이 언급하는 것도 십분 이해되는 지점이다. 그런데 이해가 안 되는 것은 ‘팩트’를 추구하는 뉴스룸에서 팩트가 아닐 수도 있다고 믿는 여론조사를 앞다퉈 보도하는 모순이다. 여론조사를 선거 보도에서 분리할 수 없다면, 어떻게 하면 더 나은 보도를 할 수 있을지 고민해야 할 필요가 있었다.
여론조사를 조사하다
<여론조사를 조사하다:여론M>(이하 <여론M>)을 처음 기획하면서 유권자에게 여론조사를 더 효과적으로 전달하기 위한 방안으로 두 가지를 고민했다. 여론조사의 리터러시를 올릴 수 있도록 도움을 주고, 소외되는 유권자가 없어야 한다는 것이다. 단순 정보 전달을 넘어 서비스 저널리즘(service journalism)의 영역으로 들어가야 한다고 봤다.
휘발성이 강한 여론조사의 특성상, 기사 제목 정도로 소비되고 잊혀지는 것이 여론조사에 대한 불신을 키운다고 판단했다. 유권자가 새로운 여론조사를 접했을 때, 비교 기준이 어렴풋한 기억이 아니라 실제 데이터가 돼야 한다. 전화 면접 vs. ARS, 안심번호 vs. RDD4), 유무선 비율, 조사 시간, 질문 순서 등 여론조사 기관마다 다른 고유한 조사 방법을 모두 고려해야 정확한 비교가 가능하다.
문제는 유권자가 이런 조사 방법에 따라 나타나는 차이를 모두 고려해 여론조사를 독해하기는 어렵다는 것이다. 따라서 조사 방법에서 나타나는 엔트로피를 줄이고 여론조사를 편하게 읽을 수 있도록, 여론조사를 메타분석(meta analysis)5)하고 그 추세선을 제공하는 것을 1차적 목표로 했다.
1차 목표는 메타분석이었지만, 기획 단계에서 더 중요하게 생각했던 것은 ‘우리 지역 여론조사’를 찾아볼 수 있도록 하는 것이었다. 사이트를 처음 시작한 것이 2020년 총선이었는데, 소위 ‘주요 지역구’가 아닌 곳의 유권자는 포털에서 여론조사를 찾아보기가 매우 어렵다. 여론조사도 잘 없지만, 그마저도 보도가 잘 안 되기 때문이다. 관심지든 관심지가 아니든 지역구 여론조사를 클릭 한 번으로 찾아볼 수 있도록 정보를 제공하는 것이 여론조사를 보도하는 언론사의 역할이라고 봤다.
이런 목표를 기반으로 하지만, 선거 성격과 상황에 따라 구체적 운영 방식에 차별을 두고 있다. 지난 대선에서는 전체 지지율뿐만 아니라 조사 방법별로 나눠 지지율을 추정하고, 성별, 연령별, 지역별 등 세부 그룹으로 나눠서도 메타분석을 실시했다. 선거 초반, 조사방법에 따라 결과에 차이가 심해 여론조사에 대한 불신론을 키웠던 측면이 있어, 조사방법별 차이를 명확하게 보여주고 함이 목적이었다. 또 세부 그룹으로 내려가면 n수가 작아지면서 오차 범위가 커져 해석에 주의가 필요한데, 이런 부분을 섬세하게 고려하지 못한 언론 보도가 많아 세부 지지율 메타분석 제공을 시작했다.
제8회 지방선거는 하나의 레이스만 치러지는 대선과 달리 4,000명이 넘는 인원이 선출되고, 광역 단체장이 17개, 기초 단체장이 226개 레이스로 운영된다. 때문에 지역별 여론조사를 한눈에 확인할 수 있는 여론조사 포털의 역할에 방점을 찍고 운영할 예정이다.
데이터 수집, 분석, 시각화, 코드 공개까지
<여론M>의 운영은 크게 데이터 수집, 분석, 인터랙티브 사이트를 통한 시각화의 세 가지 단계를 거친다. 정치 관련 여론조사는 대부분 중앙선거여론조사심의위원회(이하 여심위) 홈페이지에 등록되는데, 이를 수집하는 것이 첫 번째 단계다. 평상시엔 여론조사가 일주일에 10개 미만이지만, 지방선거를 앞둔 요즘은 하루에도 30~40개씩 조사가 등록된다. 여심위에 조사를 등록하면 언론사 보도는 가능하지만, 데이터를 정확히 확인할 수 있는 교차표는 24시간 뒤에 올라오게 돼 있다. 이 때문에 선거 시기에는 조금이라도 최신 데이터를 모두 포함하기 위해 기사 검색 등을 통해 데이터를 수집하고 있다. 이 과정에서 MBC 기획취재팀을 거쳐간 리서처들의 역할이 컸다.
두 번째 단계인 분석은 여론조사 메타분석 관련 권위자인 박종희 서울대 교수와 함께하고 있다. 데이터 번째 단계인 분석은 여론조사 메타분석 관련 권위자인 박종희 서울대 교수와 함께하고 있다. 데이터가 모아지면 <여론M> 팀과 박종희 교수가 협의하에 미리 설계해둔 분석 프로그램을 기반으로 메타분석을 R(오픈소스 프로그래밍 언어)로 진행한다. 앞에서 언급한 하우스 이펙트와 여론조사 추이, 그리고 어떤 후보군이 선택지에 들어가는지 등을 고려한다.
<여론M>의 분석이 유권자에 주로 전달되는 방식은 인터랙티브 사이트(http://poll-mbc.co.kr)를 통해서다. d3를 기반으로 한 시각화 패키지를 사용해 개발했는데, 데이터를 형식에 맞춰 JSON 형태6)로 가공해 업로드하면 자동으로 그래프 모양이 바뀐다. 개별 여론조사가 뒤에 점으로 찍히고 그 위에 <여론M>의 추정값과 신뢰 구간이 찍히도록 했는데, 이는 실제 발표되는 여론조사 값들과 <여론M>의 값을 직접 비교할 수 있도록 하는 역할을 한다.
이외에도 국정 지지도는 지난 대통령과 현 대통령을 비교할 수 있게 한 시각화 자료 등을 함께 제공하고 있다. ‘국정 지지도가 높다, 낮다’라는 개념이 절대치로만 읽는 것보다 다른 대통령과 비교하는 것이 더 효과적이기 때문이다. 실제로 문재인 대통령에 대한 긍정 평가가 임기 말에도 높다고 하지만, <여론M> 사이트에서 확인해보면 부정 평가는 전임 대통령과 비슷한 수준이다. 또 개별 여론조사들도 다양한 방식으로 시각화해 제공하고 있다.
<여론M>은 3년째 운영 중인데, 선거가 아닌 시기에는 국정 지지도와 정당 지지도를 주 단위로 제공하고 있다. 국정 지지도의 경우, 분석에 사용한 R 코드와 데이터 일부를 공개7)하고 있다. R을 다룰 수 있는 사람이면, 공개된 코드를 통해 <여론M>과 똑같은 결과를 도출할 수 있다(베이지안 분석(Bayesian analysis)8)이기 때문에 소수점에는 약간에 차이가 있겠지만).
데이터 저널리즘을 수행하는 기관들은 보통 데이터와 분석에 사용한 코드를 모두 공개하는 것을 원칙으로 삼고 있다. 공개 원칙으로 분석과 보도에 대한 편향이나 주관이 반영되지 않았음을 확인시키려는 의도이다. 또 필요한 사람이 데이터를 활용할 수 있도록 로데이터(raw data)도 공개하는 경우가 많다. <여론M> 역시 코드 공개를 통해 우리 분석의 신뢰성을 제고하고자 했다.
<여론M>만이 정답은 아니다
이번 대선, 혼란스러운 여론조사 사이에서 메타분석을 통해 답을 찾는 언론사들이 더 많아졌다. 다만 메타분석이 정답이 아닐 수도 있다는 점은 항상 경계해야 한다. 여론조사를 재료로 하기 때문에, 모든 조사가 정확하지 않다면 여론조사 메타분석 또한 위태롭다. 다만 두 후보자의 이름과 지지율을 제목에 박는 방식에서 크게 벗어나지 않는 보도들 사이에서, 더 나은 보도를 위한 시도임에는 분명하다.
지금 언론사에게 가장 부족한 것은 ‘인식’이다. 마지못해 하는, 경마식 보도의 전형에, 믿을만한 것도 못 되는 여론조사가 아니다. 언론사가 여론조사로 짓고 있는 집은 짚더미로 만든 첫째 돼지의 집이다. 늑대의 입김에 날아가는 것이 당연하다. 10년 전을 생각하면 일반 유권자의 여론조사 리터러시는 놀라운 수준으로 올라갔다. 조사 방법에 따라 구분도 하고, 또 업계에서 어떤 조사기관이 더 신뢰받는 기관인지도 알고 있다. 그동안 첫째 돼지의 집만 변하지 않았다.
여론조사 보도의 시작은 정밀 저널리즘(precision journalism)이다. 과학적인 방법으로 수집한 자료를 보도에 활용해 유권자의 선택을 돕고, 또 불평부당함·객관성이라는 저널리즘의 가치를 수행하기 위한 목적으로 출발했다. <여론M>만 이런 목적을 만족시키는 것이 아니다. 충분히 고민한 여론조사 분석 기사도 마찬가지다. 로데이터를 활용하는 분석이 더 정확하고 선거에 대한 인사이트를 줄 수 있다. 뉴스룸이 가장 손쉽게 확보할 수 있는 양질의 데이터다. 선거 분석에 있어 활용 가능성이 무궁무진하고, 따옴표 선거 보도를 넘어선 정책 선거를 촉진하는 데도 활용할 수 있다. 셋째 돼지의 벽돌집을 짓기 위해서는 고민은 물론이고 때로는 전문 인력도 필요하다. 여론조사로 무엇을 할 수 있는지, 언론의 역할이 무엇인지 설계도부터 준비해야 한다.
1) 의뢰: 세계일보, 조사기관: 리서치앤리서치, 조사기간: 2020년 1월 26일 ~ 28일, 조사방법: RDD, 유무선 혼합, 전화 면접
2) 최형창, <윤석열 “세계일보 조사 아니었으면 여기까지도 안 왔다”>, 세계일보, 2021.6.30, https://m.segye.com/view/20210630512587
3) 해당 조사가 실시되기 이전, 당시 검찰총장이었던 윤석열 당선인이 후보군으로 올라간 조사는 모두 5개. 10명이 넘는 후보군 중 선호도는 1~5.7%로 높지 않았다
4) 무작위로 선정된 전화번호를 여론조사에 활용하는 전화여론조사 방법의 일종. 편집자 주 <출처 - 시사상식사전>
5) 메타분석은 하우스 이펙트와 추이 등 여론조사 결과에 차이를 줄 수 있는 다양한 조건을 고려해 분석하는 것인데, 이러한 시도는 해외 언론에서는 선거 보도의 주류로 자리잡은지 10년이 넘었다. 가장 많이 알려진 메타분석은 네이트 실버(Nate Silver)가 운영하는 파이브서티에잇(FiveThirtyEight)의 선거 예측(Election Forecast)인데, 2008년 오바마 대통령 당선을 가장 먼저 예측한 것으로 명성을 얻었다. 또 영국 경제지 이코노미스트(The Economist)도 콜롬비아대의 앤드류 겔만(Andrew Gelman) 교수와 함께 전 세계 선거 여론조사를 메타분석하고 있다. 이외에도 정치전문 웹사이트는 리얼클리어폴리틱스(RealClearPolitics) 등 다양한 매체에서 메타분석을 시도하고 있다. 이런 메타분석의 기본은 사이먼 잭맨(Simon Jackman) 시드니대 교수가 개발한 베이지안 분석 모델을 기반으로 조금씩 변형한 것이고, <여론M> 역시 이에 기반하고 있다. Jackman, S., <Pooling the polls over an election campaign>, Australian Journal of Political Science, 40(4), pp.499-517, 2005.
6) 웹과 컴퓨터 프로그램에서 용량이 적은 데이터를 교환하기 위해 데이터 객체를 속성·값의 쌍 형태로 표현하는 형식. 편집자 주 <출처 – IT용어사전>
7) 코드 공개 주소: https://github.com/jongheepark/poll-MBC
8) 주관적 확률을 실제 가능한 일로 가정하여 실행하는 통계 분석. 편집자 주 <출처 – 국어사전>
저자의 다른 미디어
