인공지능(AI) 반도체 스타트업 하이퍼엑셀이 고성능 서버 제품 오리온을 출시했다고 3일 밝혔다. 챗GPT 등에 사용되는 기존 고성능 GPU(그래픽처리장치)보다 두 배 이상으로 가격과 성능에서 뛰어난 제품이다.

하이퍼엑셀은 초거대 AI에 특화된 반도체 프로세서 'LPU(Latency Processing Unit)'을 개발했다. 자사의 LPU를 8개 탑재해 오리온 서버 제품을 이번에 출시했다.

오리온 서버는 오픈AI의 거애언어모델(LLM)' GPT와 메타의 라마 등 LLM을 효율적으로 수행할 수 있다. 서버당 최대 66B(매개변수 660억개) 크기의 모델까지 처리 가능하다. 특허 출원 중인 모델 병렬화 기술 및 확장 네트워크 기술을 활용해 기존 GPU 플랫폼과 다르게 가속기 개수에 비례해 성능이 좋아지는 확장성을 보여준다고 회사 측은 설명했다.

오리온은 메타의 최신 모델인 라마2 7B 모델의 기준 초당 174 토큰, OPT 66B 모델 기준 초당 23 토큰 등 실시간 토큰 생성이 가능하다. 김주영 하이퍼엑셀 대표는 “최근 공급망 문제와 높은 비용 문제를 가지고 있는 GPU 서버를 하이퍼엑셀 오리온 서버가 앞으로 대체할 것”이라고 밝혔다. GPU 서버 대비 낮은 가격과 높은 전력 효율성으로 데이터센터 운영비용을 획기적으로 낮출 것이라고 회사 측은 전망했다.

하이퍼엑셀은 김주영 KAIST 전기및전자공학부 교수가 2023년 1월에 창업한 스타트업이다. 지난 7월 트랜스포머 기반 거대 언어 모델에 특화된 AI 반도체인 LPU를 개발했다. LPU는 거대 언어 모델 연산에서 가장 중요한 메모리 대역폭 사용을 극대화했다. 모델 연산에 특화된 매트릭스와 벡터 엔진 로직을 집적했다. LLM 다수를 LPU로 효율적으로 분산할 수 있는 모델 병렬화 기술과 LPU 간의 데이터 동기화를 위한 자체 네트워킹 기술도 개발했다.

김주완 기자 kjwan@hankyung.com