업스테이지, 한국형 LLM 평가 시스템 만든다…공공기관 협력

김성훈 업스테이지 대표(왼쪽)과 황종성 한국지능정보사회진흥원(NIA) 원장이 업무협약을 체결하고 있다. 업스테이지 제공

인공지능(AI) 스타트업 업스테이지는 과학기술정보통신부 산하 한국지능정보사회진흥원(NIA)과 한국형 오픈 거대언어모델(LLM) 리더보드 공동 구축을 위한 업무협약을 체결했다고 5일 발표했다.

오픈 LLM 리더보드는 각기 다른 공개형 LLM의 성능을 비교·평가하는 플랫폼이다. 시장에선 미국 AI 스타트업 허깅페이스의 리더보드 등이 잘 알려져 있다. 업스테이지는 이달까지 한국어를 전문으로 하는 ‘Open-Ko LLM 리더보드’를 내놓을 계획이다. 협약에 따라 NIA의 AI 학습용 데이터 제공 플랫폼 ‘AI Hub’의 한국어 데이터가 프로젝트에 활용된다.

양사가 구상하는 리더보드에는 기존 성능 지표인 추론·상식 능력·언어 이해 능력·환각 현상 방지 등 4가지에 AI 윤리·전문가 지식 등이 추가된다. 한국 문화와 정서를 담아낼 수 있는 독립적 LLM 생태계 조성이 기여한다는 목표다.

NIA는 업스테이지의 ‘1T 클럽’에도 가입한다. 지난달 출범한 1T 클럽은 텍스트, 기사 등 다양한 형태의 1억 단어 이상 한국어 데이터를 제공하는 파트너들로 구성된다. 업스테이지는 LLM 사업으로 창출될 수익을 공유하는 등의 방식으로 협력사를 확대하고 있다.

김성훈 업스테이지 대표는 “NIA와 국내 LLM의 성능과 혁신을 증명하고, AI 발전과 보급을 위해 노력하겠다”고 말했다.

이시은 기자 see@hankyung.com