한국능률협회컨설팅(KMAC)은 2022 서비스품질지수(KSQI-Chat)를 산출하기 위해 챗봇 서비스 발전 단계를 3단계로 구분하고 고객 경험(CX)을 7개 차원으로 구성해 평가했다. 실무 작업은 KMAC 비대면 채널 운영 사무국에서 담당했다.

KMAC는 한국정보화진흥원의 챗봇 서비스 3단계 분류를 차용했다. 이 분류는 단순히 음성과 문자로 구성된 ‘챗봇 서비스’(1단계), 시각 자료를 추가하고 자연어 처리가 가능한 ‘지능형 비서 서비스’(2단계), 행동 인지와 감성 인지, 데이터 정형화 등을 포함하는 ‘감성 비서 서비스’(3단계)로 구성된다. 다만 3단계 서비스에 해당하는 챗봇이 없어 올해 평가에서는 관련 항목은 평가 대상에 포함하지 않았다.

고객 경험은 과정별로 일곱 가지 차원으로 나뉜다. 챗봇에 접근(접근성), 의사소통 때 실제 대화하고 있다고 느끼는 정도(사회적 현존감), 문제 해결까지의 편의성(사용성 및 효율성), 문제 해결의 결과적 완성도(문제 해결 능력), 지속적인 의사소통 연결을 위한 기본 대응 대화 기술(폴백 메시지), 개별 고객에 대한 맞춤형 서비스 제공 정도(개인화), 서비스 완결 단계에서의 종료 서비스 수준(종료) 등이다.

KMAC는 챗봇의 단계 및 고객 경험 차원에 기반해 38개 항목별 평가를 한 뒤 항목별 결과를 바탕으로 고객이 체감하는 중요도 가중치를 반영해서 총점 100점으로 환산했다. 여기에 표준편차를 내서 평균보다 표준편차 이상의 성적을 낸 곳은 ‘우수’, 평균에서 표준편차 이하의 성적을 낸 곳은 ‘미흡’으로 분류했다. 중간 그룹은 ‘양호’를 받았다. 이 결과 ‘미흡’을 받은 곳은 케이뱅크 한 곳이었고, 우리은행·하나은행·국민은행 세 곳이 ‘우수’ 등급을 받았다. 신한은행·카카오뱅크·기업은행·농협은행 네 곳은 ‘양호’에 그쳤다. 가중치는 챗봇 평가단을 대상으로 델파이 조사 기법을 이용해 도출했다.

이상은 기자 selee@hankyung.com