오픈AI "추론단계별 보상훈련 통해 AI의 잘못된 정보 제공 개선"

"결과 아닌 과정 감독 통해 환각 개선…인간 유사한 사고 과정 촉진"

챗GPT 개발사 오픈AI는 인공지능(AI)의 '환각'(hallucination) 문제를 개선하기 위해 새로운 방법을 도입하고 있다고 31일(현지시간) 밝혔다.

오픈AI는 이날 발표한 연구 논문에서 "AI 모델이 정답에 도달했을 때 올바른 최종 결론을 스스로 보상하도록 하는 것이 아니라, 각각의 올바른 추론 단계에 대해 보상하도록 훈련"함으로써 환각을 개선할 수 있다고 설명했다.

환각은 AI가 잘못된 정보를 마치 사실인 것처럼 제공하는 것을 의미한다.

논문은 "심지어 최첨단 모델도 거짓을 만들어내는 경향이 있다"며 "이는 불확실한 순간에 사실을 지어내려는 경향을 보여준다"고 설명했다.

이어 "이런 환각은 다단계 추론이 필요한 영역에서 특히 문제가 된다"며 한 단계에서 논리적 오류가 발생하면 단계를 거치면서 더 큰 오류를 초래할 수 있기 때문이라고 덧붙였다.

연구원들은 이에 "AI 모델이 최종 결론에 대해서가 아니라, 각각의 올바른 추론 단계에 대해 보상하도록 훈련하는 것"이 필요하다고 강조했다.

그러면서 이런 접근 방식을 "결과 감독"(outcome supervision)과 반대되는 "과정 감독"(process supervision)이라고 언급했다.

논문은 "이 방식은 AI 모델이 인간과 유사한 사고 과정을 따르도록 촉진하기 때문에 이를 통해 더 나은, 설명 가능한 AI가 될 수 있다"라고 설명했다.

그러나 이에 대해 회의적인 시각도 있다고 미 경제매체 CNBC는 전했다.

전자 개인정보센터의 AI 및 인권 프로젝트 책임자인 벤 윈터스는 "이것만으로는 AI의 잘못된 정보와 결과에 대한 우려를 완화하기는 어렵다"고 말했다.

미 브라운대학교의 기술 책임센터장인 수레시 벤카타수브라마니안은 "대규모 언어 모델이 작동하는 방식이 전반적으로 불안정하기 때문에 어떤 환경에서는 작동한다 해도, 다른 환경에서는 작동하지 않을 수 있다"고 지적했다.

/연합뉴스