못 믿을 널뛰기 여론조사…응답률 10% 미만이 74%

“지지율이 깡패다.” 선거판의 철칙이다. 유권자들은 여론조사 지지율을 선거 결과와 일치시켜 보는 경향이 있다. 이른바 ‘여론조사 투영효과’다. 확고한 지지 후보가 없을 때는 ‘될 만한 후보’를 찍자는 사표(死票) 방지 심리에서 지지율이 높은 후보로 움직인다. 경선 때는 지지율이 높은 후보 캠프에 국회의원이 몰리게 마련이다. 이 때문에 각 선거 캠프는 ‘밴드왜건(이길 가능성이 강한 후보에게 지지율이 쏠리는 현상)’ 흐름을 타려고 온갖 전략을 짜낸다.

그만큼 여론조사가 중요하지만, 선거철마다 ‘여론조사를 과연 믿을 수 있나’라는 의문이 제기돼 왔다. 내년 ‘3·9 대통령 선거’와 관련해 우후죽순 쏟아지는 여론조사도 마찬가지다. 비슷한 시점에 비슷한 수의 표본을 대상으로 한 조사에서도 후보별 지지율이 널뛰기하는 사례들이 잇따르고 있다. 이전보다 더욱 혼란스럽다는 게 전문가들 반응이다.

MBC가 코리아리서치에 의뢰해 지난달 16~17일 실시한 조사에서 더불어민주당 후보인 이재명 경기지사 지지율이 29.8%, 국민의힘 후보인 윤석열 전 검찰총장이 19.5%로 나타났다(표본오차 95% 신뢰수준에서 ±3.1%포인트. 이하 자세한 내용은 중앙선거여론조사심의위원회 홈페이지 참조). 반면 뉴데일리와 시사경남 의뢰로 실시한 PNR(피플네트웍스리서치)의 지난달 17일 조사에선 윤 전 총장이 30.9%, 이 지사가 28.6%를 기록했다. 조사 시기가 겹쳤으나 윤 전 총장 지지율이 11.4%포인트나 차이 났다.

양자 대결에서도 마찬가지다. 한국갤럽의 지난달 17∼19일 조사에서 이 지사가 46%, 윤 전 총장은 34%의 지지율을 얻었다. 반면 지난달 17일 PNR 조사에선 윤 전 총장 41.6%, 이 지사 37.7%로 큰 차이를 나타냈다.

응답률 최소 10% 이상은 돼야 신뢰성 확보

여론조사가 널뛰는 이유는 뭘까. 전문가들은 지나치게 낮은 응답률을 첫째로 꼽고 있다. 응답률은 전화를 받은 사람 중 끊지 않고 질문에 끝까지 응답한 사람의 비율이다. 응답률이 너무 낮으면 여론조사가 민심을 왜곡하게 된다.

여론조사는 전화면접과 자동응답시스템(ARS) 방식이 있다. 전문가들은 응답률이 최소 10% 이상은 돼야 어느 정도 신뢰성을 확보할 수 있다고 본다. 중앙선거여론조사심의위는 지난해 보고서에서 “2016년 총선 여론조사를 분석한 결과 응답률이 높을수록 오차가 감소했다”고 분석했다.

그러나 현실은 그렇지 못하다. 지난 7~ 8월 두 달간 중앙선거여론조사심의위에 등록된 전국 단위 정치 관련 여론조사 수는 98개다. 이를 전수조사한 결과 응답률 5% 미만이 41개로 가장 많았다. 5~10% 미만 31개, 10~15% 미만 7개, 15~20% 미만 5개, 20% 이상 14개였다. 10% 미만 응답률이 전체의 73.5%나 차지했다. 평균은 8.1%, 가장 낮은 응답률은 1.4%에 불과했다. 100명 중 1.4명이 응답한 것으로, 이 정도로는 표심을 읽기가 거의 불가능하다.

응답률이 낮은 이유는 여론조사에서 ARS 방식을 많이 활용하기 때문이다. ARS는 사전에 입력된 기계음으로 조사하는 것으로, 조사원이 직접 물어보는 전화면접보다 응답률이 낮다. 전화면접은 말로 대답하지만, ARS는 응답자들이 한 질문씩 듣고 휴대폰을 귀에서 뗀 뒤 버튼을 누르고 다시 받는 방식이어서 도중에 끊는 경우가 많다.

98개 여론조사 중 ARS 방식이 61개, 전화면접은 23개, 전화와 ARS 혼용이 14개였다. ARS 방식 응답률은 대부분 5% 미만이었다. 전화면접은 대부분 10%를 넘었다. ARS 방식을 많이 선택하는 것은 비용 때문이다. 응답자 1000명을 기준으로 전화면접 조사는 1000만원 안팎이 들지만, ARS는 200만~300만원 정도면 된다.

질문 내용·질문자 태도도 조사 결과에 영향

전화면접이 ARS에 비해 응답률이 높다고 해서 무조건 신뢰성을 확보하고 있다고 단정할 수는 없다. 전화면접이든, ARS든 표본 추출 과정에서 성별, 지역, 세대 등 응답자 할당을 제대로 했고 질문 방식에 얼마나 공정성을 기했는지가 중요하다. 특히 전화면접은 질문자 태도도 조사 결과에 영향을 끼칠 수 있다. 한 여론조사 업체는 특정 대선후보 이름을 거명하며 “될 것 같죠”라거나, 특정 정당을 강조하는 식의 유도 질문을 한 사실이 적발됐다.

질문 문구도 중요하다. 언론중재법 개정안에 대한 여론조사에서 찬성(54.0%)이 반대(37.5%)보다 높은 한 여론조사 문구는 “언론의 고의나 중과실에 의한 허위·조작 보도에 대해 민주당이 징벌적 손해배상을 도입하는 언론중재법 개정을 추진 중이다. 징벌적 손해배상제 도입에 대해 어떻게 생각하는가”였다. 법 개정 필요성만 부각시키고, 부정적 영향은 제시하지 않아 가치 중립을 어겼다.

전화면접이냐 ARS냐에 따라 응답자의 반응이 달리 나오기도 한다. 응답자가 조사원에게 직접 답하는 전화면접은 ARS보다 생각을 드러내기 꺼리는 경향이 있다. 이 때문에 보수층에선 ARS 응답률이 상대적으로 높다. ARS 100% 방식으로 지난달 13~14일 진행된 TBS-KSOI(한국사회여론연구소) 조사에서 윤 전 총장의 지지율은 30.6%, 이 지사는 26.2%로 나타났다. 반면 지난달 12~14일 100% 전화면접으로 실시된 KBS-한국리서치 조사에서는 이 지사가 25.6%로 윤 전 총장(18.1%)보다 높았다.

여론조사 업체들이 경쟁 심화로 덤핑에 나서면서 초저가로 여론조사를 하는 사례가 생기는 것도 문제다. 중앙선거여론조사심의위에 등록된 여론조사 업체는 80개에 이른다. 이들은 선거 여론조사에 앞다퉈 뛰어들면서 언론에 공짜 조사를 제의하기도 한다. 주목도가 높은 선거 조사가 언론에 보도되면 업체 인지도가 높아져 정부와 기업체의 여론조사를 수주하는 데 유리하다고 보기 때문이다.

여론조사의 첫 단계인 표본 추출이 매우 중요한데, 초저가 또는 공짜 조사를 하면 아무래도 이 과정부터 비용을 줄이고 부실해질 수밖에 없다. 표본 추출 틀은 ‘임의 전화걸기(RDD)’와 통신사로부터 가상번호를 구매하는 ‘안심조사’ 방식이 있다. 안심조사는 연령 성별 등에 비례한 정보를 받아 조사하기 때문에 RDD에 비해 정확도가 높지만, 구매비용이 비싸다. 지난 두 달간 98개 조사 중 RDD가 64개로, 가상번호 방식(34개)보다 훨씬 많았던 이유다. 업체들이 거의 비용이 들지 않는 RDD 선택을 많이 하다 보니 여론조사 정확도가 떨어지고, 결과가 들쭉날쭉하게 된다.

평일·주말 조사 따라 차이…“맹신 말고 추세로 보길”

표본 대상 수가 적다는 점도 문제다. 98개 조사 중 89.8%(88개)가 표본 대상을 1000명밖에 잡지 않았다. 이를 17개 광역시·도로 나누면 한 곳당 평균 59명에 불과하다. 수십만, 수백만 유권자들의 표심을 고작 59명 조사로 파악하는 것은 쉽지 않다. 전문가들은 표본 대상을 적어도 2000명 정도로 잡아야 표심을 제대로 읽을 수 있다고 지적하지만, 이 역시 비용이 문제다.

신뢰수준과 오차범위도 눈여겨봐야 한다. ‘신뢰수준 95%에 표본오차 ±3.5%포인트’라고 가정하자. 이는 여론조사를 100번 하면 95번은 표본오차 범위(7%포인트) 내에서 결과가 나온다는 의미다. A후보가 45%, B후보가 42%의 지지율을 얻었을 때 같은 방법으로 100번 조사하면 95번은 A후보가 45±3.5%, 즉 41.5~48.5%의 결과를, B후보가 42±3.5%, 즉 38.5~45.5%의 결과를 얻을 것이라는 뜻이다. 두 후보는 41.5~45.5% 범위에서 지지율이 겹친다. 이 때문에 오차범위 내에선 누구의 우위를 단정할 수 없다.

여론조사는 시점이 낮이냐 밤이냐, 평일이냐 주말이냐에 따라서도 차이가 나는 등 수많은 변수가 있다. 그런 만큼 여론조사를 맹신하기보다 민심의 풍향계와 추세를 확인하는 정도로 활용하는 게 바람직하다. 공신력을 갖춘 여론조사 업체를 골라 추이를 꾸준히 살펴보는 것도 한 방법이다.

■ 역대 경선·단일화 때마다 적합도·경쟁력·선호도 문구 놓고 치열한 싸움

역대 대선 경선 또는 후보 단일화 과정에서 여론조사 문구는 늘 첨예한 이슈였다. 2002년 대선을 앞두고 단일화에 합의한 노무현 새천년민주당 후보와 정몽준 국민통합21 후보는 ‘적합도’와 ‘경쟁력’을 두고 맞섰다. 노 후보는 경쟁 상대 변수를 제외하고 후보 자체에 대한 선호도로 판단하는 적합도를, 정 후보는 상대 후보와 싸워 이길 수 있는지 여부를 묻는 경쟁력을 각각 주장했다. 이회창 한나라당 후보와의 가상대결에서 노 후보에 비해 우세하던 정 후보 측이 뜻을 접지 않자 노 후보가 양보했다. 그러나 노 후보는 여론조사에서 이겼다. 문구를 놓고 지지고 볶는 싸움에 싫증이 난 국민은 막판 양보한 노 후보의 결단력을 높이 산 것이다.

2007년 한나라당 대선 경선 땐 ‘선호도’와 ‘지지도’가 쟁점이 됐다. 이명박 후보는 ‘누가 되는 게 좋으냐’고 묻는 선호도 조사가 일반 여론조사에서 앞서던 자신에게 유리하다고 봤다. 반면 충성도가 강한 지지층을 가진 박 후보는 ‘누구를 지지하느냐’고 묻는 지지도를 고수했다. 한나라당은 ‘대통령 후보로 다음 사람 중 누구를 뽑는 게 좋다고 생각하십니까’로 절충했다.

2012년 대선을 앞두고 야권 단일화를 추진하던 문재인 민주통합당 후보는 적합도를, 안철수 무소속 후보는 경쟁력을 각각 주장하며 맞섰다. 그러나 안 후보가 전격 사퇴하면서 단일화 협상은 깨졌다.

국민의힘이 대선 경선에서 최종 후보 결정 때 본선 경쟁력을 묻기로 했지만, 세부 문구를 놓고 갈등이 재점화될 것이란 전망이 나온다. 문구 하나가 큰 문제가 되겠냐고 생각할 수 있지만 지지율 0.01%포인트 차이에도 승부가 갈릴 수 있기 때문에 후보들은 쉽게 양보하기 힘들다. 문재인 후보가 경선 때 “악마는 디테일 속에 있다”고 표현한 그대로다.