국내 최대 개방형 한국어 거대언어모델(LLM) 평가 체계인 ‘Open Ko-LLM 리더보드’가 12일 전면 개편됐다.

Ko-LLM 리더보드 운영사인 인공지능(AI) 기업 업스테이지와 한국지능정보사회진흥원(NIA)은 새로운 벤치마크(평가 기준)을 리더보드에 대거 추가했다고 발표했다. 신규 도입된 벤치마케는 총개다. 대학원 수준 추론, 상식 추론, 초등 수학, 감성, 지시 이행, 한국어 신뢰성, 사회적 가치, 무해성, 실용성 등 지표가 추가됐다.

해당 리더보드는 지난해 9월 개설된 후 1700개 이상의 LLM모델이 제출될 정도로 많은 관심을 받았다. 하지만 최근 LLM 기술이 급속하게 발전하면서 평가 기준 개선 필요성이 제기됐고, 이에 9개의 새로운 벤치마크를 추가한 것이다.

기존엔 LLM의 기본 언어능력 평가에 중점을 뒀다면, 개편 이후엔 문제해결 능력 등 실용적인 부분에 집중한다. 새로운 벤치마크는 기존 모델뿐만 아니라 향후 제출될 모든 LLM에 적용된다.

고은이 기자 koko@hankyungcom