인공지능(AI) 소프트웨어 업계가 '챗GPT'와 같은 생성형AI가 그럴듯한 거짓말을 늘어놓는 문제를 해결하기 위해 매달리고 있다. 업계에선 이 거짓말을 AI가 만드는 '환각'이라고 표현하며 향후 심각한 문제가 될 수 있다고 우려한다.

1일(현지시간) 워싱턴포스트(WP) 등에 따르면 미국 메사추세츠공과대(MIT) 연구진은 최근 두 개의 AI챗봇에 같은 질문을 던진 뒤 각자의 대답을 토대로 두 AI가 토론하도록 해 결론을 도출하는 '마음의 사회' 기법이 사실에 근접한 답을 찾는 데 도움이 된다는 연구 결과를 발표했다. 서로 다른 챗봇을 사용해 동일한 질문에 여러 답변을 생성한 다음 한 쪽이 이길 때까지 서로 토론하게 하는 방법이다.

지난해 말 등장한 오픈AI의 챗GPT를 비롯해 마이크로소프트(MS)의 빙과 구글의 바드 등 생성형 AI가 대중에게 큰 인기를 끌었다. 그러나 AI가 습관적으로 거짓말을 한다는 심각한 문제가 발견되면서 관련 업계와 학계에선 이를 극복하기 위한 연구가 활발히 이뤄지고 있다. 지난달 엔 한 남성이 콜롬비아의 항공사 상대 손해배상소송을 맡은 변호사가 챗GPT에 도움을 받아 의견서를 제출했다 망신당하고 제재를 받게 됐다. 챗GPT는 존재하지 않는 판례를 지어내 예시로 들었고, 변호사는 그대로 제출했다. 상대방 변호인이 의견서를 검토하는 데 어디에서도 그런 판례를 찾을 수 없었다.

챗GPT를 개발한 오픈AI는 AI모델이 정답을 찾는 과정에서 각각의 추론 단계에 대해 보상하도록 훈련하는 방법을 동원해 AI를 개선할 수 있다고 밝혔다. 오픈AI는 "AI챗봇이 불확실한 순간에 사실을 지어내려는 경향을 보여준다"고 전했다. 일부 기업은 AI트레이너를 고용해 챗봇의 잘못된 답변을 찾아 다시 작성하고 이를 재입력하는 작업을 하고 있다. 구글과 MS는 일반 검색 결과를 함께 제시하는 방법으로 이용자가 AI의 거짓말을 판별할 수 있도록 돕고 있다.

AI가 한계를 드러낸 것이란 지적과 함께 거짓말쟁이 AI를 쉽게 고칠 수 없을 것이란 전망도 나온다. 순다르 피차이 구글 최고경영자(CEO)는 지난 4월 CNBC와의 인터뷰에서 "모든 AI모델이 이 문제를 안고 있고 이 분야의 누구도 아직 환각 문제를 해결하지 못했다"고 말했다. 에세 카마르 MS 선임 연구원은 WP와의 인터뷰에서 "챗봇이 말하는 것이 현실에서 실제로 맞아야 한다는 것을 모델에 알려주는 것은 아무것도 없다"고 말했다.

구글에서 현재 AI의 토대를 만들었으나, 기술이 인간의 통제를 벗어날 수 있다고 우려하며 퇴사한 제프리 힌튼은 "(환각은)개선은 되겠지만 절대 없애지는 못할 것"이라고 말했다. 인간도 기억이 부정확한 경우가 있고 본인도 모르게 거짓으로 기억의 빈틈을 메우는 것과 비슷한 경지에 오를 것이란 지적이다.

이현일 기자 hiuneal@hankyung.com