구글 자신한 AI 이미지 분석…"아직 불안정"

제미나이 탑재한 바드 써보니

독도 사진 보여주고 물으니
'돌로 이뤄진 섬'이라는 묘사뿐
쉬운 수학 문제도 오류 나타나

피차이 CEO도 한계 인정
"현재는 매우 초기 단계"

사진=REUTERS

구글은 6일(현지시간) 인공지능(AI) 멀티모달 모델 제미나이를 공개하면서 이를 적용한 챗봇 바드도 함께 내놓았다. 문서뿐만 아니라 이미지, 음성 등을 분석하고 추론할 수 있도록 한 것이다. 멀티모달 기능을 사용하기 위해선 월 20달러짜리 챗GPT 플러스를 구독해야 하는 오픈AI와 달리 구글은 바드를 무료로 쓸 수 있게 했다. 제미나이를 장착한 챗봇 바드에 여러 이미지를 보여주며 답변 품질을 분석해봤다.

먼저 바드에 ‘구글 제미나이에 대해 설명해달라’고 영어 음성으로 명령했다. 그러자 이를 문장으로 받아적은 뒤 “제미나이는 구글이 2023년 12월 6일 공개한 대규모언어모델(LLM)이다. 방대한 데이터 세트로 훈련해 텍스트 생성, 언어 번역, 창의적 콘텐츠 작성, 코딩 등을 할 수 있다”고 답변했다. 이어 “지금까지 구글이 만든 LLM 중 가장 크고 강력하다”며 “대규모 다중작업 언어 이해(MMLU) 테스트에서 90%의 정답률을 기록해 인간 전문가 점수인 89.8%를 넘었다”고 설명했다.

이미지를 보고 논리적으로 추론하는 능력도 상당했다. 구글은 전날 제미나이를 시연하면서 다양한 이미지 인식 및 분석 사례를 공개했다. 손으로 ‘가위, 바위, 보’를 보여주자 이 게임을 인식했고 손으로 나비 날갯짓을 표현하면 이를 포착해 설명했다. 하늘색과 분홍색 실타래를 별다른 설명 없이 보여줘도 금방 인식하고 이를 통해 어떤 인형을 만들 수 있는지 그림을 제시했다.

범용성이 떨어지는 이미지로 시험 대상을 바꾸자 오류들이 발견되기 시작했다. 독도 사진을 바드에 입력해 봤다. 한국어로 사진을 설명해보라고 하자 “대한민국 최동단에 있는 독도의 독도등대를 찍은 사진”이라고 답변했다. 이어 “독도는 한국과 일본의 영유권 분쟁 지역으로, 독도등대는 한국의 영토주권을 상징하는 중요한 시설”이라고 설명했다. 반면 같은 사진을 입력하고 영어로 질문하자 독도를 특정하지 못했고, 섬의 형태를 묘사하는 데만 집중했다. 현재 제미나이는 영어로만 서비스되고 있다. 정확한 한국어 답변이 제미나이 효과가 아니란 얘기다.

수학 문제 풀이 능력은 아직 기대 이하였다. 중학교 1학년 수준의 1차 방정식 문제 이미지를 입력하고 풀어보라고 하자 뺄셈과 나눗셈의 순서를 틀리면서 오답을 내놨다.

주요 외신도 제미나이를 ‘절반의 성공’으로 평가했다. 잠재력이 큰 서비스인 것은 분명하지만 부족한 점이 적지 않다는 설명이었다. 뉴욕타임스는 “구글 측에서도 제미나이가 다른 LLM과 같이 실수하기 쉽다는 점을 인정했다”며 “사실이 잘못되거나 환각을 일으킬 수 있다”고 지적했다. 순다르 피차이 CEO는 뉴욕타임스와의 인터뷰에서 “우리가 출시하는 제품에 대해 기대하고 있다”면서도 “발전 가능성을 감안하면 현재는 매우 초기 단계”라고 설명했다.

제미나이 프로가 적용된 바드는 현재 170개 이상 국가 및 지역에서 영어로 제공된다. 서비스를 확장하고 한국어 등 110개 언어로 제공할 계획이다. 고성능 버전인 ‘제미나이 울트라’는 내년 초 ‘바드 어드밴스트’란 이름으로 바드에 장착될 예정이다.

실리콘밸리=최진석 특파원 iskra@hankyung.com