이재명, 우리나라 ARS 조사 응답률 1∼2%대 불과하다며 미국 사례 언급 미국은 여론조사 심의 제도 없어…협회 차원 권고 항목에도 응답률은 제외 ARS 응답률 낮지만 1∼2% 수준은 아냐…2018년 지방선거에서 4∼6% 수준
인천 계양을 국회의원 보궐선거에 출마한 더불어민주당 이재명 후보는 24일 KBS 라디오 '최경영의 최강시사'에서 "ARS(전화자동응답) 조사는 응답률이 1∼2%대에 불과해 정확도가 매우 떨어지고 적극적인 사람들만 받는다"며 "미국에서 10%인가 15% 이하 응답률 여론조사는 발표를 못 하게 하고 있다. 워낙 악용이 많이 되니까"라고 말했다.
이는 최근 일부 여론조사에서 이 후보의 지지율이 국민의힘 윤형선 후보에 역전당한 것으로 나온 데 대해 현장의 반응은 다르다는 점을 강조하기 위해 나온 발언이다.
앞서 여론조사기관 에스티아이가 19∼20일 계양을 선거구에 거주하는 만 18세 이상 880명을 대상으로 조사한 결과 이 후보의 지지율(45.8%)은 윤 후보(49.5%)에 오차범위(95% 신뢰수준에 ±3.3%포인트) 내에서 뒤지는 것으로 집계됐다. 해당 조사는 휴대전화 가상번호 자동응답 방식으로 실시됐다.
◇ 미국, 별도 규제 없어…여론조사협회 공표 권고 항목에도 응답률 제외 결론부터 말하자면 미국에서 응답률이 낮은 여론조사는 발표를 못 하게 한다는 이 후보의 발언은 사실과 다르다.
우리나라와 달리 미국의 경우 정부 차원에서 별도의 여론조사 심의 제도를 운영하고 있지 않다. 미국여론조사협회(American Association for Public Opinion Research·AAPOR)에서는 여론조사 결과 발표시 함께 공표해야 할 사항으로 자료 수집 방법·날짜, 여론조사 발주처·수행기관, 표본 크기, 데이터 가중치 부여 방법 등 11가지를 권고하고 있지만 여기에 응답률은 해당하지 않는다.
별도 요청이 있을 경우에는 30일 이내에 확률 표본에 대한 응답률과 비확률 표본에 대한 참여율을 계산할 수 있도록 관련 정보를 제공하도록 권고하고 있다.
조진만 덕성여대 교수는 연합뉴스와 한 통화에서 "우리처럼 국가 기관이 (여론조사를) 규제하지는 않고 설문조사 기관이나 협회 등의 차원에서 권고 사항을 두는 정도"라며 "학자들이 (여론조사가) 어느 정도의 품질을 갖추려면 이 정도는 돼야 한다고 하는 것이지 절대적인 기준이 있는 것은 아니다"라고 설명했다. 미국 대통령 선거를 앞둔 2019년 CNN은 선거여론조사 보도에 대한 새 기준을 발표하면서 우리나라의 ARS 조사와 비슷한 로보콜(자동녹음전화) 조사는 정확성이 떨어진다는 이유로 인용 보도하지 않겠다고 밝힌 바 있다.
한국갤럽 관계자는 "CNN의 사례처럼 언론사나 협회에서 선거여론조사를 무분별하게 보도하지 않겠다며 자체 기준을 정하는 경우는 있지만 법으로 정해져 있다거나 통용되는 기준이 있다고 보기는 어렵다"며 "선거 여론조사와 관련해서는 우리나라가 규제가 많은 편이고 거의 유일하다"고 말했다.
해외에서는 프랑스가 1977년부터 독립기구인 여론조사위원회를 두고 여론조사를 관리·감독하고 있다.
◇ 우리나라, 선거여론조사심의위 설치해 규제…응답률 제한은 없어 우리나라는 2014년 2월 개정된 공직선거법에 따라 중앙선거여론조사공정심의위원회(현 중앙선거여론조사심의위원회·이하 여심위)를 출범, 선거여론조사 기준 공표와 조사 결과 등록, 이의신청 심의 등을 통해 선거여론조사 공표·보도를 일부 규제하고 있다.
여심위가 작년 12월 개정 고시한 선거여론조사기준에 따르면 선거별 표본 크기에 대한 규정이나 성별·연령대별·지역별 가중값 배율의 범위에 대한 규정은 있지만, 응답률에 대한 별도 제한은 없다.
응답률에 대해서는 선거여론조사 실시시 응답률을 높이기 위해 노력해야 한다거나 전화 조사의 경우 무선전화를 사용해 60% 이상 응답을 받도록 노력해야 한다 등의 내용만 명시하고 있다.
2018년 6월에는 오신환 바른미래당 의원이 선거 여론조사 응답률이 5% 미만일 경우 공표·보도를 금지하도록 하고 이를 위반하면 5천만원 이하의 과태료에 처하도록 하는 공직선거법 개정안을 대표 발의했으나 회기 종료로 폐기됐다.
◇ ARS 조사 응답률 낮은 것은 사실…정확도 의견은 엇갈려 통상 여론조사는 전화면접, ARS, 스마트폰앱, 대인면접 등의 방식으로 실시된다.
이중 여론조사의 품질과 관련해 주로 문제가 제기되는 것은 ARS 방식의 낮은 응답률이다.
여심위가 2018년 11월 발간한 '제7회 전국동시지방선거 선거여론조사 백서'에 따르면 전체 응답률 평균은 9.4%다.
조사 방법별로는 무선전화면접의 평균 응답률(21.0%)이 가장 높았고 유선전화면접 14.6%, 무선ARS 6.2%, 유선ARS 4.3%, 스마트폰앱 2.2% 순으로 나타났다.
특히 ARS 조사 방식에서는 응답률 10% 미만인 조사가 대다수(유선 ARS 96.3%, 무선 ARS 89.5%)였다.
이중 응답률 3.0% 미만은 유선 ARS 354건(34.7%), 무선 ARS 64건(7.9%)이었다.
여심위 홈페이지에 등록된 선거여론조사 1천624건 중 하루 만에 진행된 조사가 350건이었는데 이중 282건(80.6%)이 ARS를 활용한 조사였다.
국회의원선거의 선거여론조사 응답률도 비슷한 수준이다.
여심위의 '제21대 국회의원선거 선거여론조사 백서'를 보면 전체 응답률은 9.3%로, 20대 국회의원 선거(8.8%) 대비 0.5%포인트 높아졌으나 응답률이 10% 미만인 여론조사는 오히려 64.9%에서 66.4%로 1.5%포인트 증가했다.
이때도 전화면접 조사와 ARS 조사의 응답률은 각각 15.9%, 5.4%로 전화면접 조사가 ARS 조사보다 약 3배 높게 나타났다.
이 후보의 발언대로 ARS 조사의 응답률이 1∼2%대인 것은 아니지만, 응답률 10% 미만인 조사가 상당수일 정도로 응답률이 낮은 것은 맞다.
이에 대해 이재명 후보 캠프 측은 "ARS 조사의 응답률이 낮고 문항 설계에 따라 공정성을 완전히 담보할 수 있는 여론조사라고 하기에는 문제가 있다는 지적도 있으니 그것만 신뢰해서 실제 여론과 같다고 보기에는 무리가 있다는 의미"라고 설명했다.
ARS 조사의 정확도에 대한 의견은 학계에서도 다소 엇갈린다.
ARS 방식이 면접조사보다 오차가 더 큰 결과를 보인다는 의견이 있는가 하면 전화면접보다 상대적으로 응답 부담이 적어 '샤이 지지층'까지 포함해 더 정확한 결과를 낼 수 있는 주장도 있다.
사실 선거여론조사 자체의 신뢰도나 정확성은 정치권 안팎에서 꾸준히 제기된 문제다.
선거여론조사의 결과가 당락에 영향을 줄 수도 있기 때문에 각 정당과 후보자들이 민감하게 반응할 수밖에 없다.
특히 지방선거는 소위 '여론조사의 무덤'으로 불릴 정도로 상대적으로 대선이나 총선과 비교해 관심이 떨어지는 데다 의도적인 왜곡이나 불법 조사 사례가 종종 발견되기도 했다.
여심위 백서에 따르면 7회 지선 여론조사의 경우 심의대상 159건 중 145건이 인용됐다.
이중 미등록 공표·보도 등으로 인한 조치 건수가 30건으로 가장 많았고, 여론조사시 준수사항 위반 24건, 여론조사 결과 왜곡·조작 22건, 거짓·중복응답 지시·권유·유도 21건 등의 순으로 집계됐다.
언론의 '경마식 보도'에 대한 지적도 있다.
이준웅 서울대 언론정보학과 교수는 '신문과 방송' 546호에 실린 '미국 선거 여론조사 방법론과 언론보도'에서 "언론은 공표된 여론조사의 품질을 적극적으로 검토해 보도해야 한다"며 "2주일간 10회 이상 다시 걸기를 하는 확률적 전화조사와 자동응답기를 사용한 조사를 같은 선에 놓고 보도할 수는 없다"고 조언했다.
조진만 교수는 "여론조사는 여론의 추세를 파악할 수 있는 참고 자료일 뿐"이라며 "공신력 있는 기관이 공들여 한 조사의 시계열 추이를 보는 것이 중요하다"고 강조했다.