AI 반도체 기업 디노티시아, 하이퍼엑셀와 최적 추론 시스템 개발
입력
수정
인공지능(AI) 및 반도체 통합 솔루션 전문기업 디노티시아가 AI 팹리스 스타트업 하이퍼엑셀과 ‘RAG(검색증강생성) 최적화 AI 추론 시스템’ 개발한다고 20일 밝혔다.
양사는 디노티시아의 벡터 데이터 연산 가속기 칩과 하이퍼엑셀의 거대언어모델(LLM) 가속기 칩인 ‘LLM 프로세싱 유닛’을 결합해 하나의 통합 시스템으로 구현할 계획이다디노티시아 관계자는 "AI 서비스 분야에서 데이터 검색의 중요성이 점차 커지고 데이터의 모달리티도 다양해지며 양이 늘어나면서 더 빠른 데이터 검색이 점점 더 요구되고 있다"며 "기존 시스템은 소프트웨어에 의존해 데이터를 검색하고, LLM 기반의 생성형 AI 과정을 별도로 처리해 응답 속도가 느리고 전력 소모가 많았다"고 지적했다.
디노티시아는 벡터 데이터베이스 연산 가속기 칩, VDPU를 활용해 AI가 대규모 멀티모달 데이터를 실시간으로 검색·활용할 수 있도록 제공한다. 하이퍼엑셀은 LPU 칩을 통해 AI 모델의 연산 성능을 극대화한다. 양사는 이 두 칩을 결합해 검색과 추론을 동시에 처리하는 세계 최초의 RAG 특화 AI 시스템을 완성할 계획이다.
디노티시아 정무경 대표는 “LLM 서비스가 확산하면서 데이터 검색에 대한 요구사항이 급격히 늘어나고 있다”며 “이번 협력을 통해 AI 모델의 추론뿐 아니라 데이터 검색 기능까지 최적화한 새로운 개념의 AI 시스템을 선보이겠다”고 말했다.
김주완 기자 kjwan@hankyung.com
양사는 디노티시아의 벡터 데이터 연산 가속기 칩과 하이퍼엑셀의 거대언어모델(LLM) 가속기 칩인 ‘LLM 프로세싱 유닛’을 결합해 하나의 통합 시스템으로 구현할 계획이다디노티시아 관계자는 "AI 서비스 분야에서 데이터 검색의 중요성이 점차 커지고 데이터의 모달리티도 다양해지며 양이 늘어나면서 더 빠른 데이터 검색이 점점 더 요구되고 있다"며 "기존 시스템은 소프트웨어에 의존해 데이터를 검색하고, LLM 기반의 생성형 AI 과정을 별도로 처리해 응답 속도가 느리고 전력 소모가 많았다"고 지적했다.
디노티시아는 벡터 데이터베이스 연산 가속기 칩, VDPU를 활용해 AI가 대규모 멀티모달 데이터를 실시간으로 검색·활용할 수 있도록 제공한다. 하이퍼엑셀은 LPU 칩을 통해 AI 모델의 연산 성능을 극대화한다. 양사는 이 두 칩을 결합해 검색과 추론을 동시에 처리하는 세계 최초의 RAG 특화 AI 시스템을 완성할 계획이다.
디노티시아 정무경 대표는 “LLM 서비스가 확산하면서 데이터 검색에 대한 요구사항이 급격히 늘어나고 있다”며 “이번 협력을 통해 AI 모델의 추론뿐 아니라 데이터 검색 기능까지 최적화한 새로운 개념의 AI 시스템을 선보이겠다”고 말했다.
김주완 기자 kjwan@hankyung.com