바이두는 27일(현지시간) 자사의 챗봇인 어니봇이 일부 벤치마크 테스트에서 오픈AI의 챗GPT를 능가했다고 밝혔다.

CNBC가 이 날 차이나사이언스데일리 저널 보도를 인용한데 따르면, 어니봇 3.5 버전이 중국어 테스트에서 오픈AI의 최신 모델인 GPT4도 능가했다고 주장했다.

바이두의 어니 봇은 엄청난 양의 데이터로 훈련된 모델로 알려졌다.

어니봇에 대한 테스트는 대학 입학 시험 및 변호사 자격 시험과 같은 자격 시험을 기반으로 했다고 중국의 과학 저널은 보도했다.

다만 영어로는 GPT4보다는 뒤졌고 챗GPT보다는 앞섰다고 밝혔다.

중국어에 초점을 맞춘 또 다른 테스트는 50개 이상의 주제에서 1만3000개이상의 객관식 문제가 포함돼있으며 이 테스트에서 어니봇이 챗GPT와 GPT4보다 앞섰다.

세 번째 테스트는 과학 및 인문학과 같은 다양한 주제에 대한 질문을 포함하며 일단의 미국 대학들이 개발한 것이다. 이 테스트에서는 어니봇이 챗GPT와 GPT4 모두에 뒤졌다.

바이두의 CTO인 하이펭 왕은 성명에서 “어니 3.0을 기반으로 구축된 대규모 언어모델(LLM)인 어니봇 베타 출시후 3개월만에 어니3.5는 효능, 기능 및 성능 면에서 향상됐다”고 밝혔다. 그는 또 이같은 개선 사항이 “창의적인 글쓰기, Q&A, 추론 및 코드 생성은 물론 교육 성능과 추론 성능에서도 분명하게 나타난다.”고 덧붙였다.

바이두는 최신 모델의 기능중 하나가 어니 봇을 통해 액세스할 수 있는 앱인 ‘플러그인’에 접근할 수 있는 기능이아라고 밝혔다. 바이두의 검색 기능은 플러그인을 통해 어니 봇과 통합됐다.

김정아 객원기자 kja@hankyung.com