가장 중요한 임무는 시민에게, 경각심 갖고 저질 여론조사 비판에 나서야

 

 

| 글.이준웅(서울대학교 언론정보학과 교수) |

 

선거 때마다 언론은 수많은 여론조사 결과를 앞다퉈 보도한다.

조사 결과의 홍수 속에서 유권자들이 정확하고 유용한

정보를 가려내기란 쉽지 않다.

신뢰할 수 있는 여론조사의 조건은 무엇이며,

이를 제대로 받아들일 방법은 무엇인지,

국내 여론조사 현황과 시민의 역할을 짚어본다.

여론조사에 대해 알아야 할 단 한 가지가 있다면, 그것은 한 종류가 아니라는 것이다. 조사의 목적과 내용, 조사 자료의 쓰임새, 그리고 결정적으로 조사 방법에 따라 많은 종류의 여론조사가 있다. 실로 ‘여론조사 결과’라는 용어를 붙이고 나온 숫자들 가운데 서로 같은 것을 찾기 어려울 정도다.

 

주요 선거를 앞두고 수행하는 선거 여론조사만 해도, [표]와 같이 조사 기능과 내용에 따라 구분해 볼 수 있다. 먼저 여론조사의 목적에 주목해서 보면, (A) ‘누가 결국 이길지’ 예측하기 위해 수행하는 조사가 있고, (B) ‘이런 결과가 왜 발생했는지’ 설명하기 위해 자료를 수집하는 조사가 있다. 또는 (C) ‘어떤 사안을 제시해야 우리 당 또는 후보가 유리한지’와 같은 전략적 결정을 내리기 위해 자료를 수집하는 조사도 있다. 이렇게 다른 목적으로 수행하는 여론조사들은 흔히 조사 의뢰인(clients)도 다르고 조사하는 시점도 달라진다.

 

 

예컨대, 언론은 흔히 유권자가 바라는 지도자가 누군지 알아보기 위한 예측조사를 조사 회사에 의뢰한다. 이런 예측조사는 주요 정당에서 후보가 정해지기 전부터 예비 후보들을 대상으로 이루어지기도 하는데, 이는 결국 유권자들이 자신의 표의 가치를 저울질해 볼 수 있도록 도와주는 역할도 수행한다. 이런 예측조사는 유권자의 지지 후보에 어떤 변동이 있는지 만약 있다면 어떤 변수가 영향을 미쳤는지 알아보기 위한 패널조사(penal surveys)와 조사 내용도 다르고 방법론도 다르다.

 

출구조사는 투표자가 특정 후보를 선택한 이유를 설명하기 위해, 언론이 투표 당일 거액을 투자해 수행하는 조사다. 실로 여론조사에 대한 대표적 오해가 바로 출구조사 목적을 ‘예측’으로 잘못 이해하는 것이다. 출구조사는 어디까지나 누가 왜 투표했는지 알아보기 위한 것이며 선거 결과 예측은 부수적 효과일 뿐이다. 실제 불과 몇 시간 후면 개표가 시작될 텐데, 뭐 하러 출구조사를 하느냐는 비판은 출구조사 목적에 대한 오해에서 비롯된 것이다.

 

여론조사의 목적이 서로 다르기 때문에 조사 내용과 방법도 달라진다. 방법론적으로 주의해야 할 차이 가운데 하나가 바로 모집단 설정이다. 모집단이 다르다는 것은 조사 자료를 통해 추정하려는 대상이 다르다는 뜻이다. 패널조사는 흔히 전체 유권자를 모집단으로 삼아 응답자 표본을 추출한다. 대조적으로 예측조사에서는 유권자 중에서 결국 투표에 참여할 것으로 예상되는 ‘투표 예정자(likely voters)’를 골라내게 되는데, 그 이유는 모집단을 투표자로 상정하기 때문이다. 마찬가지로 출구조사가 상정하는 모집단은 당연히 투표자다.

 

이런 사정을 이해하면, 정당이나 후보가 정치적이고 전략적인 목적으로 수행하는 여론조사들은 또한 예측이나 설명을 구하는 조사들과 완전히 결이 다르다는 것도 알 수 있다. [표]의 마지막 줄에 제시한 정당 주도 여론조사는 주로 후보가 내세운 공약이 얼마나 매력적인지, 정당이 어떤 사안이나 사태에 유리한 입장을 갖고 있는지, 그리고 결정적으로 어떤 정책이나 구호를 내세워야 유권자를 설득할 수 있는지 알아보기 위한 것이다. 이런 자료를 수집해서 정당의 주요 정책과 공약을 가다듬고 준비된 후보를 훈련시키기 위한 것이다.

‘경선 여론조사’와 ‘단일화 여론조사

 

 

정당이 후원하는 여론조사도 얼마든지 과학적으로 수행할 수 있다. 그러나 우리나라 정당이 여론조사라고 하며 사용하는 이른바 ‘경선 여론조사’와 ‘단일화 여론조사’ 등은 아래 [표]에 제시한 어떤 조사에도 속하지 않는다. 이런 경선 여론조사나 단일화 조사는 사실 여론조사라기보다 우리나라 정당이 차용한 일종의 정치적 결단 방식이라고 보는 게 옳다. 당내 경선이나 당 대 당 단일화를 결행하기 상황이 여의치 않은 정당이 조사 회사에 외주를 주고 결과를 받아 정치적 결정을 하는 데 근거로 활용하는 것이다.

 

우리나라 정당이 수행하는 경선 여론조사와 단일화 여론조사는 두 가지 문제점이 있다. 첫째, 이런 조사는 각종 방법론적 오류에 취약하다. 여론조사란 ‘오차’의 발생을 전제로 그것을 통제하기 위해 과학적 방법론을 적용하는 일인데, 경선 여론조사나 단일화 여론조사는 누가 어떻게 수행하는지 투명하지도 않고 따라서 그 방법론을 평가할 수조차 없다. 둘째, 책임정치의 원리를 위반한다. 불투명한 방법론 때문에 당원과 후보, 그리고 유권자와 정당 간의 정치적 위임 관계가 분명치 않기 때문이다.

 

기본을 지키지 않는 여론조사

 

여론조사의 품질을 가늠해 볼 수 있는 중요한 지표가 있다. 응답률(the response rate)이다. 최근 1인 가구가 증가하고 개인화된 통신 수단이 다변화하면서, 조사 회사가 응답자에게 접촉할 수 있는 경로 자체가 제한되고 있다. 이 때문에 조사 대상이 보상 없는 조사 요청을 거절하거나 의도적으로 여론조사를 기피하는 양상을 보이기도 하지만, 그 전에 이들에게 접근할 수 있는 경로 자체가 차단된 경우도 적지 않다. 이런 사정을 어렴풋하게나마 알고 있는 시민들은 ‘이 조사의 응답률은 5%’라는 식의 공지를 보면서 과연 이런 수준의 응답률을 기록한 여론조사 결과로 모집단 특성을 제대로 추론할 수 있을지 의심하게 된다.

 

우리나라 선거 여론조사 응답률은 우려할 만한 수준이다. 중앙선거여론조사심의위원회(이하 여심위)에 등록된 2024년 총선 여론조사 자료 234건을 검토하면, 전화면접조사의 평균 응답률은 13.6%이고 ARS 조사 평균 응답률은 3.6% 임을 알 수 있다. 그러나 이 수치들은 국제적인 응답률 공식을 사용한 것이 아니기에, 여심위가 제공하는 접촉률이라는 지표도 함께 고려해 맞춰봐야 한다. 즉 우리나라에서 통용되는 응답률 수치는 ‘접촉할 필요가 없는 비적격 전화번호에 대한 접촉’과 ‘접촉이 이루어지지 않은 통화’의 비율을 고려하지 않은 응답률이다. 따라서 국제적인 응답률 산출 기준에 맞추어 조정이 필요하다. 이를 감안해 조정하면, 2024년 총선 여론조사의 평균 답률은 전화면접조사의 경우 4.4%이고 ARS 조사는 1.9%가 된다.

 

이런 응답률 수치가 무엇을 의미하는지 알아보기 위해 예를 들어 보겠다. 전화 면접을 보면, 한 조사 회사가 약 2만 5,000개 전화번호를 사용해 사업자나 공적 기구에 속한 전화번호나 팩스나 모뎀 등에 속한 전화번호 등 비적격 전화번호를 제외하고 접촉을 시도했을 때, 통화 중이나 차단 등으로 접촉이 불가한 경우를 제외하고 약 1만 개 번호만 남게 된다. 이 1만여 개 전화번호로 접촉을 시도한 끝에 조사를 거절하거나 중도 이탈한 사례를 빼고 응답 완료한 시민이 결국 약 1,000명이 된다는 뜻이다. 이 사례는 통신사가 제공하는 안심번호를 활용한 것으로, 그나마 우량한 표집방법을 사용한 경우에 속한다. 무작위로 번호를 생성해 표집 틀을 구성하는 전화조사의 경우에는 응답자를 확보하기 훨씬 어렵다.

 

그런데 낮은 응답률만 문제가 아니다. 우리나라 정치 여론조사는 확률적 표집방법을 사용하지 않는다는 근본적인 문제점을 갖고 있다. 우리나라 여론조사는 편의적 표집방법 중 하나인 할당 표집 방법을 사용한다. 성, 연령대, 그리고 지역을 할당 기준으로 삼아 미리 정한 규모의 응답자를 채울 때까지 무한정으로 전화를 걸어서 성, 연령대, 지역 할당에 맞는 응답자의 응답을 구하는 것이다. 그래서 60대 여성이 여론조사 요청을 받았지만, 응답도 하기 전에 조사 회사 쪽에서 전화를 끊더라는 일화가 ‘도시 괴담’처럼 떠돌기도 한다. 할당 기준을 일찍 채우는 고 연령대 응답자 집단에 속하는 유권자가 실제로 경험했을법한 일이다. 그러나 할당 표집은 모집단을 반영하는 표집 틀로부터 응답자가 추출될 확률을 계산할 수 없는 방식이다. 따라서 통계 이론을 적용한 표집오차를 계산할 수도 없다. 이 문제는 지금까지 1,000번도 더 넘게 지적됐건만 아직도 근본적으로 개선되지 않고 있다.

 

이 문제가 개선되지 않는 까닭은 아마도 싸고 급하게 여론조사 자료를 얻어 활용하면 그만이라고들 생각하기 때문일 것이다. 2024년 총선 여론조사 자료를 보면, 여심위에 등록된 234개 조사 중 67%가 1박 2일 조사이고 31%는 2박 3일 조사였다. 3일 내로 조사가 끝나는 경우가 전체의 99%에 달한다. 접촉하기로 했지만 통화하지 못한 응답자를 재접촉하거나 접촉한 응답자의 여건과 시간을 살펴 응답을 구하는 방식으로 조사하는 경우가 거의 없다. 요컨대, 걸려오는 전화를 받을 의사나 여유가 없거나, 어쩌다 조사대행사 직원이나 ARS 녹음 음성을 듣고 응답을 거절하는 시민의 정치적 의견은 여론조사에 반영하지 못해도 어쩔 수 없다는 식으로 응답을 구한다. 아니 그렇게 되더라도 상관없다는 식으로 여론조사 결과만을 뽑아내고 있다.

 

악순환에 빠진 한국의 정치 여론조사

 

 

왜 이렇게 됐을까? 어쩌다 이렇게 저질, 싸구려로, 빨리빨리 자료를 뽑아내서 ‘여론조사’라는 이름을 붙여 여기저기 공표하면 그만이라고 생각하는 관행이 자리 잡게 됐나? 우리나라에 정치 여론조사의 품질을 높일 수 있도록 작동하는 유인 기제가 작동하지 않기 때문이다. 일단 우리나라 정치 여론조사 제도를 둘러싼 주요 행위자 가운데 제대로 비용을 들여 누구나 참조할 만한 조사 결과를 제공하겠다는 동기를 갖춘 행위자가 그리 많지 않다. 여론조사를 둘러싼 주요 행위자를 다음 4 범주로 크게 구분해 볼 수 있다.

 

1. 시민: 여론 동향을 인식해 정치적 결정에 참조한다

2. 정당과 정치인: 여론에 영향을 미쳐 권력을 획득한다

3. 조사 의뢰자: 여론조사 생산에 필요한 비용을 지불하고 조사 결과의 주인이 된다

4. 조사대행사: 의뢰자의 용역을 받아 여론조사를 수행한다

 

이 네 집단이 서로 다른 이해관계를 가질 것이라는 점은 자명해 보이지만, 그렇다고 해서 이들의 이해관계가 서로 조정되지 못하고 모순에 빠져야 할 필연성은 없다. 특히 목표가 조사 결과의 품질에 대한 것이라면, 주요 행위자들이 서로 신뢰하고 인용할 만한 여론조사 결과를 생산하기 위해 감시하고 격려하는 방식으로 조정해 나가지 못할 이유가 없다. 그러나 어쩐지 우리나라의 주요 행위자들은 서로 이해관계를 조정하지 못한 채, 저질 조사를 발주·수행하고, 비판 없이 인용하는 악순환에 빠져 있는 듯 보인다. 최대 이해관계자인 시민들의 이해관계가 다중적이고 상쇄적이어서 백색잡음처럼 작용한다고 가정하더라도, 시민의 여론 인식에 영향을 미쳐 권력을 획득하려는 정치 행위자, 여론조사를 생산하기 위해 비용을 지불하는 조사 의뢰자, 그리고 여론조사를 수행하는 조사대행사가 각자 여론조사를 대하는 자세가 각자 다르다.

 

첫째, 정당과 정치인이 가장 심각하다. 이들 중에는 제대로 된 여론조사 자료에 입각해 객관적으로 지지율을 파악하고, 그에 따라 정치적 경쟁력을 높일 수 있도록 캠페인 전략을 수립하고 그 성공 여부 역시 객관적인 여론조사 자료를 통해 확인할 수 있다고 믿는 이들이 있다. 그러나 이들이 다수가 아니다. 내일 아침 개표를 통해 참패가 확정되더라도 오늘까지는 이기고 있다는 여론조사 결과를 받아보면 그것으로 좋다는 식으로 정치 여론조사 결과를 일종의 응원가처럼 활용하려는 이들이 다수다. 심지어 자신이 믿는 결과와 배치되는 개표 결과가 나오면 여론조사 결과를 근거로 부정선거가 벌어진 게 아니냐고 억지 부리기도 한다.

 

둘째, 공공연구소, 학술기관, 공영방송사 등이 조사 의뢰자가 되기도 하지만, 대체로 상업 언론사와 정당이 의뢰자가 된다. 시민 의견 지형의 변화를 객관적으로 검토하기 위해 공적 자금을 투자하는 의뢰자들은 점차 줄고 있다. 반면 정치 여론조사 결과를 활용해 생산한 정치 정보를 전략적으로 이용하려는 언론사와 정당이 증가하고 있다. 이들이 곧 정치 여론조사의 물주다. 문제는 이들이 여론조사의 품질을 포함한 거의 모든 것을 결정함에도 불구하고 정작 조사 자료의 품질에 별반 관심이 없다는 것이다. 정확하게 말하자면 일정 수준의 조사 품질 확보를 위해서는 일정 규모의 조사 비용을 감당해야 하고, 자료의 수집과 분석 차원에서도 적합한 활용을 위해 사회과학 이론과 방법론 등에 대한 기초지식 등을 갖춰야 하는데, 조사 비용은 아끼려 들면서 역량 개발은 게을리하는 것이다. 시민 독자나 시청자의 정치적 결단에 도움을 주는 여론조사 정보를 제공하기 위해서는 상당 수준의 준비와 축적된 역량이 필요하다는 사실을 외면하기도 한다.

 

마지막으로 조사대행사의 난립 문제가 있다. 조사의 품질을 유지하기 위해 일정 수준 이하의 가격이나 규모로는 서비스를 제공할 수 없겠다고 밝히는 조사대행사가 드물다. 선거철이 되면 여기저기 산발적으로 등장해 언론 및 정당에 각종 여론조사 및 후보 전략 서비스를 제공하겠다고 나서는 조사대행사들이 많아도 너무 많다. 특히 ARS 조사를 서비스하는 조사대행사들은 조사원 인력 통제 부담도 없고 대규모 설비투자도 필요하지 않기에, 조사 비용을 유연한 방식으로 책정해 조사 의뢰자들에게 각종 서비스를 제공할 수 있다고 주장하는 듯하다.

 

언론사, 정당, 시민 모두 감시자 돼야

 

여론조사 이해당사자를 아래와 같이 각각 A 또는 B 두 부류로 구분해 볼 수 있다. 우리 정치 여론조사의 문제는 객관적으로 여론 지형을 살피려는 시민(1A)의 지지를 얻기 위해 정치 캠페인 활동을 통해 시민적 지지를 확보하려는 정당이 여론조사를 자신의 정치 캠페인 활동의 측정 체계로 활용하는 경우(2A)를 찾아보기 어렵다는 데 있다. 마찬가지로 시민의 정치적 결단에 도움을 주기 위해 고품질 여론조사 자료가 필요하다고 믿는 조사 의뢰자(3A)와 협업하면서 정확하고 신뢰 있는 조사를 수행한다는 평판을 통해 수익을 내는 조사대행사(4A)를 만나기 어렵다는 데 있다. 이와 반대로 행동하는 아래 분류에 따르면 B에 속하는 시민, 정치인, 조사 의뢰자, 조사대행사들이 득세하는 중이다. 특히 최근에는 스스로 조사 의뢰자이면서 동시에 조사대행사 역할을 자임하는 여론조사 행위자도 등장하고 있다. 심지어 특정 정당의 권력 획득 가능성을 높이기 위해 조사 의뢰자, 조사대행사, 그리고 조사 결과 보고자 역할을 동시에 수행함으로써 조사 과정의 투명성을 확보하지 않은 채, 조사 결과에 대한 제삼자의 검토 가능성 자체를 봉쇄한다.

 

1. 여론 동향을 인식해 정치적 결정에 참조하려는 시민

A. 객관적으로 여론 지형을 살핀다

B. 자신이 지지하는 정당이나 정치인이 이기는지 확인한다

 

2. 여론에 영향을 미쳐 권력을 획득하려는 정치 행위자

A. 자신의 정치 활동으로 시민적 지지에 변화가 있는지 검토한다

B. 자신이 정치적 경쟁에서 앞선다는 것만 퍼뜨리려 한다

 

3. 여론조사 결과 생산을 위해 필요한 비용을 지불하는 조사 의뢰자

A. 시민의 정치적 결정에 도움을 주기 위한 여론 정보를 생산한다

B. 정당이나 정치인에게 조언하기 위한 자료를 생산한다

 

4. 여론조사를 수행하는 조사대행사

A. 정확한 조사를 수행한다는 평판을 쌓고 수익을 낸다

B. 조사 의뢰인이 요구하는 어떤 여론 관련 서비스라도 하겠다고 장담한다

 

따라서 모두가 각자 응답자, 의뢰자, 주인, 또는 이용자로 참여하는 여론조사가 제대로 수행되고 있는지 민감하게 감시해야 한다. 특히 여론조사의 주인이라고 할 수 있는 의뢰자인 언론사 및 정당이 제대로 여론조사를 기획하고 수행하는지 주목해야 한다. 의뢰자가 조사 결과의 품질과 조사 방법의 타당성을 무시한 채 조사 비용에만 신경 쓰거나, 조사 결과를 정치적으로 활용하는 데 전념한다면 앞서 지적한 악순환이 강화될 것이기 때문이다.

 

결국 누구보다도 여론조사 주인이 저비용·저품질 여론조사 의뢰를 피해야 한다. 언론 또한 저비용·저품질 조사 결과를 인용하거나 활용하지 말아야 한다. 더불어 언론사는 시민들에게 여론조사 정보 제공이 그들의 정치적 결단을 돕기 위한 것임을 명심해, 스스로 여론조사 문항을 개발하고, 조사·설계에 참여하고, 결과 해석에도 기여할 수 있는 이론·방법론적 역량을 갖춰야 한다. 그러나 이 모든 일에 가장 중요한 임무를 맡은 이는 최종 이용자인 시민이다. 시민이 경각심을 갖고 저비용·저질 여론조사를 기획·수행하고, 또한 공표·인용하는 일을 보면 적극적으로 비판에 나서야 한다.