번역앱 정확도…지니톡 65% 우수, 구글 27% 저조

앱 4종 비교해보니…

삼성 S번역기, 56%로 2위…네이버 파파고, 정확도 34%
"한국어 기계번역 힘든 언어…국내기업이 구글보다 우위"
AI 적용한 '네이버 파파고', 데이터 누적 땐 성능 향상 기대

국제화가 빠르게 진행되면서 번역 앱(응용프로그램)에 대한 관심도 높아지고 있다. 네이버 한글과컴퓨터 등 국내 정보기술(IT) 기업들이 모바일 번역 앱을 잇따라 내놓으면서 기존에 서비스를 운영 중인 구글 삼성전자 등과의 경쟁이 불붙고 있다.

한국경제신문은 국내 음성 인식 분야 권위자인 오영환 KAIST 명예교수와 국내 대표 어학 교육그룹인 파고다어학원의 션 조 강사에게 자문해 지금까지 출시된 모바일 번역 앱 4종을 평가했다. 그 결과 한컴·한국전자통신연구원(ETRI)이 함께 개발한 지니톡이 음성 인식 및 번역의 정확도에서 가장 높은 점수를 받았다.

◆음성 인식률은 높지만

공항 식당·카페 길거리 호텔 상점 등에서 흔히 이뤄지는 일상 회화 예문 25개(파고다어학원 선정)를 놓고 성인 남녀 5명씩 총 10명이 평소 대화하듯이 말한 내용을 녹음해 이를 각 번역 앱에 들려주는 식으로 평가했다. 예를 들어 ‘서울에는 몇 시쯤 도착하나요’(공항)라고 녹음된 음성을 들려주면 각 번역기가 이를 인식해 한글(텍스트)로 화면에 출력한 뒤 곧바로 자동 번역된 영문 문장을 띄워준다. 이런 식으로 번역 앱마다 250번씩, 총 1000번의 테스트를 했다.

사람의 목소리를 제대로 알아들었는지를 가리는 음성 인식 부문에서는 모두 90% 안팎의 정확도를 기록하며 합격점을 받았다. 지니톡이 93.9%로 가장 높았고 S번역기 90.7%, 구글번역 87.0%, 파파고 86.9% 등의 순이었다.

◆번역 수준은 콩글리시 수두룩

하지만 번역의 정확도는 음성 인식률에 비해 크게 낮았다. 지니톡과 S번역기가 각각 65.2%와 56%로 상대적으로 우수한 성적을 받았으며 네이버 파파고와 구글 번역은 각각 34.8%, 27.2% 등으로 저조했다. 한 예로 상점에서 ‘좀 깎아줄 수 있나요’(상점에서 물건값)라는 표현에 대해 지니톡과 S번역기는 ‘Can’t you make it cheaper?’라고 비교적 의미가 통하는 번역을 했지만 파파고는 ‘Can you come down?(내려올 수 있나요)’, 구글번역은 ‘Can you cut a little?(조금 잘라줄 수 있나요)’ 등으로 불완전한 답변을 내놨다. 한국식 문장을 영어권에서 쓰는 표현으로 옮기지 못하고 ‘콩글리시’로 직역하는 사례도 적지 않았다. ‘아이스 아메리카노 여덟 잔 포장해주세요’의 모범답안은 ‘Give me 8 iced americanos to go’지만 모든 앱이 ‘wrap 8 ice americanos(아이스 아메리카노 여덟 잔을 포장지로 싸주세요)’ 식으로 오역했다.

오영환 교수는 “한국어는 음성 인식이나 기계번역 분야를 연구하는 학계에서 가장 어려운 언어로 정평이 나 있다”며 “그나마 국내 기업의 번역 성공률이 높은 것도 이 같은 측면이 반영된 것 같다”고 분석했다.

◆쓸수록 정확해진다

가장 최근에 출시된 파파고는 다른 앱들과 달리 인공지능 기술로 알려진 ‘딥러닝’(인간의 신경망을 닮은 기계학습 알고리즘)을 활용하고 있다. 딥러닝의 최대 장점은 데이터가 누적될수록 품질이 개선된다는 것이다. 네이버 관계자는 “아직 베타(시제품) 버전이다 보니 개선의 여지가 적지 않은 게 사실”이라며 “앞으로 활용 사례가 늘어날수록 음성 인식률과 번역 정확도가 함께 높아질 것”이라고 말했다.

파파고에 한 달 앞서 나온 지니톡은 이번 평가에서 가장 정교한 앱으로 선정됐지만 실험 과정에서 여러 차례 서버상의 문제로 번역 자체가 중단되는 등 문제가 노출됐다. 한글과컴퓨터 관계자는 “사용자 편의 기능들이 서로 충돌하면서 일부 오류가 생겼다”며 “이 같은 문제를 바로잡기 위한 업데이트를 할 계획”이라고 설명했다.

이호기/박근태 기자 hglee@hankyung.com