지난 호에서는 TV 시청률 측정 방법에 대해 살펴봤다. 텔레비전 생태계에서 숙명처럼 붙어 다니는 방송과 광고의 관계 때문에 TV 시청률 측정이 텔레비전이 등장하면서부터 해결해야 할 과업이었던 것처럼 TV 프로그램의 품질에 대해 시청자들이 어떤 평가를 하는지도 방송사 입장에서는 파악해야 할 필수 과제였다. 방송 프로그램을 얼마나 많은 사람이 보는가 못지않게 해당 프로그램에 대한 질적인 평가 또

한 중요한 요소기 때문이다.

공영방송의 표본인 영국 BBC는 텔레비전 방송 초기인 1936년부터 프로그램에 대한 시청자 의견 조사를 시작했다. 처음에는 자원봉사자들을 모집해 라디오 청취와 TV 시청 이력을 일기처럼 기록해 평가하고, 이를 집계해 프로그램 제작자들에게 비공개로 전달했다.¹⁾ 이 소박한 평가 방식이 시청자 감상 지수(AI, Appreciation Index)로 발전한다.

BBC의 시청자 감상 지수

시청자 감상 지수는 BBC가 텔레비전 방송 프로그램과 라디오 프로그램에 대한 시청자의 평가를 측정하는 지표다. 시청자 감상 지수는 시청률을 측정하는 기관인 영국 주요 방송사와 광고주 연합체 시청자조사위원회(BARB, Broadcasters’ Audience Research Board)에서 측정했다. 시청자조사위원회를 구성하고 있는 다수의 상업방송사는 시청률 이외의 품질에 대한 관심은 적었기 때문에 2002년 이후에는 BBC

가 자체적으로 조사를 주관하고 있으며, 조사 실무는 글로벌 조사회사인 GfK(Growth from Knowledge)가 담당하고 있다. 시청자 감상 지수는 100점 만점으로 산출되는데 BBC 내부 지침에 따르면 85점 이상은 우수, 60점 이하는 불량으로 평가한다.

2005년부터 BBC는 온라인 패널을 통한 일일 조사 체제를 운영하고 있다. 온라인 조사 방식을 도입한 이유는 저렴한 비용으로 응답 패널의 규모를 키울 수 있기 때문이다.²⁾ 16세 이상으로 구성된 약 2만 명의 시청자를 대상으로 전날 시청하고 청취한 TV와 라디오 프로그램의 품질과 독창성에 대한 평가를 설문조사 방식으로 시행한다.³⁾

KI 시청자평가지수 조사

BBC의 시청자 감상 지수를 벤치마킹해 탄생한 것이 한국의 KI 시청자평가지수다. KI 지수는 조사회사가 보유하고 있는 패널에서 표본을 뽑아 일 년에 네 차례 온라인 조사 방식으로 프로그램별, 방송사별 품질평가지수를 산출한다. 온라인 조사 방식의 시청자평가지수 조사 역시 전형적인 통계조사 절차를 따른다. 

모집단은 전국 13세 이상 69세 이하 TV 시청자로 상정하고 조사회사에서 보유하고 있는 패널 중에서 조사에 참여할 지원자를 모집해 이들에게 일주일 동안 실시간 방식으로 시청한 방송 프로그램 각각에 대해 품질을 만족도(SI, Satisfaction Index)와 질적 우수성(QI, Quality Index)의 두 가지 측면에서 0점에서 10점 사이의 점수로 평가하게 한다. 

프로그램의 품질 평가 점수(KI)는 만족도(SI)와 질적 우수성(QI)의 평균으로 산출한다. 일 년간 측정한 프로그램별 평가 점수를 채널별로 계산한 결과는 매년 시행하는 방송 평가 내용 영역에 반영된다.⁴⁾ 모든 평가자는 연 20주의 평가 기간 중에서 일주일만 조사에 참여할 수 있다. 즉 일주일에 2,400명씩 연간 4만 8,000명이 평가에 참여하게 된다. 온라인 조사의 경우 특정 연령이나 직업, 지역에 편중될 가능성이 있는데 이를 보완하기 위해 조사가 완료되면 주민등록 인구를 기준으로 사후 가중치를 적용한다.

온라인 조사 방법과 통계 신뢰도

온라인 조사 방식을 적용하고 있는 KI 시청자평가지수 조사는 얼마나 신뢰할 수 있을까. 우선 조사 회사가 모집한 패널 중에서 조사 대상자를 선정하므로 이로 인한 편향을 의심해볼 수 있다. 즉 패널조사에 참여하지 않은 사람들은 배제돼 있으므로 시청자 전체를 대표할 수는 없다는 단점이 있다. 또한 온라인 조사 방법은 PC나 스마트폰 등의 기기를 사용하지 않는 사람들은 조사 대상에서 제외되므로 시청자 전체를 대표하기는 어렵다. 

조사 대상을 전 연령대로 삼지 않고 69세 이하로 한정하고 있는 이유는 무엇일까. 이는 온라인 조사에 참여하기를 원하는 70세 이상 고연령층을 확보하기 어려워 조사회사가 보유하고 있는 온라인 패널이 특정 연령층에 몰릴 수밖에 없는 한계 때문이다. 인구 구성비로 보면 70세 이상이 차지하는 비중이 10%를 넘고 또 연령이 높을수록 TV 시청 시간이 긴 특징을 보이므로 온라인 조사 패널의 고연령층 확보는 표본 대표성을 위해 해결해야 할 과제다.

KI 조사는 측정 결과가 방송 평가에 반영되기 때문에 정확한 지표 산출이 생명이다. KI 조사는 방송 프로그램을 본 사람만 평가할 수 있으므로 프로그램별로 평가자 수에서 편차를 보인다. 인기 있는 프로그램은 많은 사람이 보기 때문에 다양한 연령대와 지역의 응답자가 골고루 조사에 참여하지만, 소수가 보는 프로그램은 특정 집단의 선호도만 반영된다. KI 조사의 궁극적인 목적이 채널 단위의 평가이므로 해당 채널에서 방영한 프로그램을 시청한 사람들이 평가한 모든 점수를 합산해 평균을 계산하는 방식은 시청자 수가 일종의 가중치로 작용하는 방식이라 할 수 있다. 

현재 KI 지수 산출 시 30명 미만이 평가한 프로그램은 제외하고 있지만 모두 포함해도 1년 단위의 채널 평가 결과에 큰 영향을 미치지 못하며, 소수가 시청한 프로그램을 평가한 점수를 모두 포함하는 것도 채널 평가라는 관점에서는 설득력이 있다. 만약 프로그램별로 품질을 평가하는 것을 목표로 한다면, 즉 품질 관점에서 프로그램별로 서열을 매기고 싶다면 평가에 참여한 전원이 평가 대상 방송 프로그램을 모두 시청한 후 평가해야 한다. 그러나 이러한 방식은 예산과 시간의 제약으로 현실적으로 적용하기 어렵다. 

표본조사의 경우 국가승인통계에서는 면접 조사를 표준으로 삼고 있다. 그 이유는 표본조사는 표본을 추출하는 대상(이를 모집단, population이라고 부른다)에 관한 정확한 정보가 있어야 하기 때문이다. 예를 들어 서울 시민을 대상으로 표본조사를 한다면 서울시 전체의 가구와 가구원에 대한 정보가 있어야 어떤 지역에서 몇 가구를 뽑을지를 정할 수 있다. 가구와 인구에 대한 모집단 정보는 인구주택총조사나 주민등록정보를 활용해 알 수 있다. 이러한 모집단 정보를 활용해 표본을 추출하고 조사를 진행해도 그 결과는 계획한 것과 일치하지 않을 수도 있다. 즉 조사 과정에서 특정 연령대나 특정 지역, 직업을 가진 대상자가 모자랄 수 있다. 이를 보정하기 위해 조사 후에 모집단 분포와 유사하도록 가중치를 적용한다. 결국 표본을 뽑고 사후 가중치를 적용하기 위해서는 모집단 정보 확보가 필수적이다. 

온라인 조사는 직접 가구를 방문하지 않고 전화나 이메일로 조사 대상자를 선정해야 한다. 만약 이메일로 조사 대상을 선정하려면 이메일을 사용할 수 있는, 즉 이메일 주소를 가지고 있는 사람들에 대한 모집단 정보가 있어야 한다. 즉 지역별, 성별, 연령별 이메일 보유 현황이 필요하지만 이러한 정보는 없다. 따라서 현재 온라인 패널 조사에서 통계청이 발표하는 지역·성·연령별 분포에 따르도록 사후가중치를 적용하는 방식은 현실적인 제약을 감안한 절충안이라 할 수 있다. 

우리나라를 비롯한 대부분의 나라에서 통계청은 가구 및 개인과 관련한 모집단 정보(주택 유형, 가구원 수, 학력 등)를 파악하기 위해 인구총조사와 주택총조사를, 기업에 관한 정보(종업원 수, 매출액, 소재지 등)를 파악하기 위해 전국사업체조사를 매년 진행하고 있다. 만약 온라인 조사 수요가 증가한다면 이를 위한 모집단 정보를 확보할 필요가 있다.

온라인 조사는 PC나 휴대폰을 이용해 조사하기 때문에 이러한 기기에 자유롭게 접속할 수 있고 이용에 부담이 없는 직업군의 비중이 높을 가능성이 있다. 관련 연구에 따르면 인구특성별로 조사 방법 차이를 확인한 결과 온라인 조사의 응답자가 면접 조사나 전화 조사의 응답자보다 매체 이용 정도가 높은 것으로 나타났다. 온라인 조사는 인구 특성에 맞게 패널을 구축하고 갱신하는 과정을 거치지만 메일을 발송하고 회신하는 방식에 의존하므로 매체 이용에 적극적이고 그 과정에서 혜택(포인트 등)을 얻고 싶은 계층으로 편향될 가능성이 있다.⁵⁾

프로그램 품질 평가는 조사 특성 때문에 그 전날 시청한 프로그램을 대상으로 응답자의 기억에 의존해서 응답하므로 조사 비용이나 집계 시간 등을 감안하면 전화조사나 면접 조사에 비해 온라인 조사가 현실적인 대안이라 할 수 있다. 

KI 시청자평가지수 조사는 해당 프로그램을 시청한 사람들만 평가에 참여할 수 있으므로 TV 시청률 측정에 참여하고 있는 사람들을 대상으로 조사하는 것도 고려해 볼 수 있다. 하지만 시청률 조사에 참여하고 있는 가구 수는 4,000여 가구로 규모가 작고, 피플미터를 설치해 시청률 조사를 수행하고 있는 가구와 개인에게 프로그램 품질 평가까지 참여하게 한다면 응답자의 부담이 너무 커지므로 분리 측정하는 것이 타당하다.

온라인 조사의 미래

온라인 조사는 면접원이 조사 대상자를 직접 방문하지 않아도 된다는 이점이 있다. 또 응답자가 자신이 편리한 시간에 설문지를 작성할 수 있다는 장점도 있다. 조사를 목적으로 장시간 통화하기 어렵다는 점 때문에 설문조사 문항을 최대한 줄여야 하는 전화조사에 비해 설문 문항이 많아도 충분히 소화할 수 있다. 물론 면접 조사처럼 조사 과정에서 조사원에게 궁금한 사항을 바로 질문할 수 없다는 단점이 있지만 오히려 사진이나 영상 등을 활용한 설명 등이 포함된다면 온라인 매체의 장점을 살려 다양한 기능을 활용할 수 있다는 장점이 있다.

국가통계 품질을 관리하는 통계청은 온라인 조사를 정식 국가승인통계조사로 인정하지 않고 있다. 이는 앞에서 설명한 것처럼 온라인 조사는 모집단 정보를 알 수 없으므로 표본 설계가 불가능하고 추정치를 계산할 수 없으며, 임의 추출(random sampling)이 아니라 대부분은 온라인 조사에 협조하겠다는 의사를 표시해서 조사회사에 등록된 패널을 대상으로 하기 때문에 특정 계층에 편중될 수 있다는 점 때문이다. 

하지만 온라인 조사는 보조적인 방법으로 적극 활용되는 추세다. 통계청이 수행하는 인구총조사는 면접원이 해당 가구를 직접 방문하는 면접 조사지만 응답 가구에서 온라인 전용 조사 사이트에 접속해 응답하는 방식을 선호할 경우 이를 허용한다. 기업 대상의 조사도 응답자 편의를 고려해 상황에 따라 면접 조사 혹은 온라인 조사, 종이 설문지를 작성해서 팩스로 전송하는 방법 등을 선택할 수 있게 허용한다.

온라인 조사의 모집단 정보를 확보하기 위해서는 어떤 일이 필요할까. 휴대전화번호 기반 모집단 구축이 대안이 될 수 있다. 휴대전화 보급률은 거의 100%에 육박하기 때문이다. 휴대전화 보유자 명부를 마련하려면 여러 통신사가 보유하고 있는 가입자 명부를 통합하고 중복 데이터를 제거하는 작업이 필요하다. 현재도 통신 3사가 제공하는 휴대전화 가상(안심)번호를 선거 여론조사에 활용하고 있는데, 이를 확대하는 방안이다. 스마트폰 보유자라면 온라인 조사 사이트에 바로 접속해 조사에 참여할 수도 있는 장점이 있다. 

휴대전화는 이미 전화 조사에서 중요한 역할을 하고 있다. 예전에는 전화번호부를 이용한 집 전화 조사가 일반적이었지만 휴대전화 보급으로 집 전화 보유율이 절반 이하가 되면서 휴대전화 활용이 필수가 됐다. 조사 환경이 바뀌면 조사 방법의 변화도 불가피함을 시사한다.

UN 통계처도 국가통계 작성을 위한 10대 원칙(Fundamental Principles of Official Statistics)에서 통계적 목적을 위한 데이터는 통계 조사 또는 행정 기록 등 모든 유형의 데이터에서 추출할 수 있다고 선언한다. 온라인 조사가 비록 정확한 모집단 정보 확보 곤란 등의 약점이 있지만 비용 및 응답자의 부담을 고려할 때 현실적인 대안이라 할 수 있다.

대부분의 국가가 표준으로 삼고 있는 면접 조사는 현재 위기를 맞고 있다. 정부 부처가 수행하는 면접 조사도 프라이버시 등을 이유로 응답을 거부하는 사람들이 점점 늘어나는 추세다. 특정 주거 단지의 경우 면접원이 접근조차 하지 못하고, 1인가구의 증가(2021년 기준 전체 가구의 33.4%)로 사실상 낮에는 가구원을 만나기도 어렵다. 이러한 상황을 감안하면 과연 면접 조사 결과가 전체 국민을 대표할 수 있는지에 대해 의문이 든다. 

면접 조사 환경 악화는 비단 우리나라만의 문제는 아니다. 미국도 주요 연방 통계인 가계조사 응답률이 지난 20년간 지속적으로 하락해 위기를 맞고 있다. 2017년에 발표한 <연방통계 혁신 보고서(Innovations in Federal Statistics)>는 전통적인 면접 조사를 대신해 다양한 행정 자료와 민간 자료를 활용하는 방안을 제안하고 있다. 영국은 2014년 발표한 국가통계 전략서에서 행정 자료를 활용한 온라인 센서스 수행과 데이터 수집 방법의 근본적인 재검토, 데이터 자동 수집 인프라 개발을 강조했다.⁶⁾

온라인 조사는 시간에 구애받지 않을뿐더러 면접 조사에서 제외되는 외딴섬이나 산간벽지처럼 접근이 어려운 지역도 조사할 수 있어 시간과 공간의 제약을 극복할 수 있는 대안이라 할 수 있다. 머지않은 장래에 온라인 조사가 위기를 맞고 있는 면접 조사를 대신할 대안으로 등장할 수 있을지 주목된다. 

1) https://en.wikipedia.org/wiki/Appreciation_Index

2) 정용찬·신호철, <2010년 KI 시청자평가 조사 보고서>, 정보통신정책연구원, 20쪽, 2010.

3) <BBC Audience Information Context & Glossary(Document 2)>, BBC, 2013.

4) 방송 평가에 관한 규칙에 따르면 지상파방송사업자 내용 영역(245점) 중 방송 프로그램 질 평가를 40점, 종합편성 방송채널사용사업자 내용 영역(215점) 중 방송프로그램 질 평가를 30점 반영한다.

5) 정용찬 외, <통계 생산체계 혁신을 위한 통계조사 동향분석 및 이론 연구>, 정보통신정책연구원, 113-114쪽, 2016.

6) 정용찬, <4차 산업혁명 시대의 데이터 거버넌스 개선 방향>, KISDI Premium Report, 2018(5). 정보통신정책연구원. 16쪽, 2018.