LLM 끼리 '스트리트 파이터3' 대결해보니…깜짝 결과

'GPT-3.5' 우승
"형보다 나은 아우"

스트리트 파이터3에서 대결을 벌이고 있는 LLM들. 이미지 : 매튜 버먼

대규모언어모델(LLM) 간 격투기 게임 대결을 벌인 결과 오픈AI의 GPT-3.5가 우승을 차지했다. GPT-3.5는 많은 파라미터를 지닌 고성능 GPT를 상대로도 승리를 거뒀다. ‘작은 모델이 빠른 반응을 보인다’는 것을 보여준 사례로 평가된다.

7일(현지시간) IT 전문매체 톰스하드웨어 등에 따르면 오픈AI와 미스트랄AI의 8개 LLM이 ‘스트리트 파이터3’ 게임 대결을 벌인 결과 GPT-3.5가 첫 우승을 차지했다. 이 대결은 미국 캘리포니아 샌프란시스코에서 최근 열린 ‘미스트랄AI 해커톤’에서 이뤄졌다.

이번 대결은 미스트랄 AI가 LLM의 게임 플레이 능력을 측정하기 위해 고안한 ‘SF3 LLM 콜로세움’을 통해 진행됐다. LLM에 게임방식을 설명한 뒤 게임 캐릭터에게 어떤 동작을 할지 계산하도록 지시했다. LLM은 싸우는 방법에 대해 실시간으로 결정을 내렸다. 캐릭터는 켄이라는 인물 한 명으로만 하도록 했다. LLM은 이동과 점프, 펀치, 킥은 물론 파동권, 승룡권과 같은 기술도 구사했다.

플리그 방식으로 대결을 벌였고, GPT-3.5 터보가 1776점으로 1위를 차지했다. 이어 미스트랄 스몰 파이널버전이 1586점으로 2위에 올랐다. GPT-4, GPT-4 터보 등은 3~6위를 차지했다. 미스트랄AI의 큰 모델은 최하위에 머물렀다. 미스트랄AI 운영진은 “작은 모델이 대기 시간과 속도 측면에서 이점이 있다”며 “빠른 반응을 보임으로써 더 많은 시합에서 승리할 수 있었다”고 설명했다.

이 행사와 별도로 아마존의 한 임원이 14개의 LLM으로 314개 경기를 치른 결과도 공개됐다. 앤스로픽의 ‘클로드3 하이쿠’가 1위를 차지했다. 하이쿠도 최근 출시된 클로드3의 3가지 모델 중 가장 작은 모델이다.

미스트랄AI는 누구나 이를 시도해볼 수 있도록 프로젝트의 소스 코드를 깃허브에 공개했다.

실리콘밸리=최진석 특파원 iskra@hankyung.com