한국 AI 스타트업이 LLM 성능에서 계속 1위한 비결 [긱스]
입력
수정
18일 AI 스타트업 모레는 자체 개발한 LLM ‘MoMo-70B’가 세계 최대 AI 플랫폼 허깅페이스의 ‘오픈 LLM 리더보드’ 평가에서 77.29점을 기록해 세계 1위에 올랐다고 발표했다. 허깅페이스가 운영하는 오픈 LLM 리더보드는 AI 모델의 성능을 평가해 순위별로 집계한다. 3400개 이상의 모델이 등록돼 있으며 추론과 상식, 언어 이해 능력 등 여섯 가지 기준으로 평가한다.모레는 그래픽처리장치(GPU) 인프라를 지원하는 자체 AI 플랫폼 ‘MoAI’를 통해 매개변수 700억 개 규모의 MoMo-70B를 개발했다. MoAI를 통한 병렬적 처리 기법으로 효율을 극대화했다. 임정환 모레 AI그룹장은 “모레의 AI 플랫폼과 개발 능력이 결합한 덕분에 개발에 들어간 지 3개월 만에 1위를 달성했다”고 설명했다.
허깅페이스 경쟁에서 국내 업체가 1위 자리를 거머쥔 것은 이번이 네 번째다. 앞서 업스테이지가 지난해 8월 개발한 LLM이 허깅페이스의 LLM 성능 순위에서 평가 점수 평균 72.3점을 받아 1위에 올랐다. 이는 같은 방식으로 평가한 챗GPT의 GPT-3.5 버전 성능(71.9)을 뛰어넘는 성과다.
지난달엔 업스테이지가 추가로 개발한 LLM 솔라가 오픈 LLM 리더보드에서 74.2점으로 1위를 기록했다. 매개변수 107억 개의 솔라는 당시 2위였던 알리바바 큐원(720억 개)의 6분의 1 규모에 불과했지만, 더 높은 성능을 보였다.업스테이지 솔라는 ‘Specialized and Optimized Llm and Applications with Reliability’의 약자다. 업스테이지의 솔라는 기업들이 활용하기 좋은 프라이빗 LLM을 위해 작은 크기로 구성된 사전학습 모델이다.
지난 4일 카카오뱅크가 솔라 모델을 기반으로 개발한 LLM ‘카본빌런’이 74.52점을 기록하며 1위에 올랐다. AI 에듀테크 스타트업 뤼이드는 지난해 10월 74.07점을 기록하며 1위를 차지했다.
LLM은 크게 파운데이션 모델과 이를 미세조정해 만든 파인튜닝 모델로 나뉜다. 파운데이션 모델은 세계적으로도 기술력을 지닌 업체가 손에 꼽을 정도로 난도가 높다. 미세조정을 거쳐 여러 LLM을 만들 수 있는 만큼 활용도도 상당하다.대표적인 파운데이션 모델은 업스테이지의 솔라와 메타의 라마, 알리바바의 큐원 등이 있다. 이날 1위를 기록한 MoMo-70B는 알리바바의 큐원을 미세조정해 만든 파인튜닝 모델이다. 다만 솔라도 프랑스 스타트업 미스트랄AI의 LLM이 바탕이 됐다.
장강호 기자 callme@hankyung.com