엔비디아, ‘LLM 수요 겨냥’ 메모리 대폭 늘린 차세대 AI 수퍼칩 공개
입력
수정
사진 : 엔비디아
미국의 반도체 기업 엔비디아가 차세대 인공지능(AI) 칩을 공개했다. 날로 증가하는 AI 컴퓨팅 파워 수요를 소화하기 위해 이전 제품보다 성능을 끌어올린 것이 특징이다. 이를 통해 현재 80% 이상을 점유하고 있는 AI 칩 시장 지배력을 더욱 강화하겠다는 전략이다.엔비디아는 8일(현지 시각) 미국 로스앤젤레스에서 열린 컴퓨터 그래픽스 콘퍼런스 시그래프에서 차세대 AI 칩 ‘GH200 그레이스 호퍼 슈퍼칩’을 내놨다. 현재 엔비디아의 최고급 AI 칩인 H100과 같은 그래픽처리장치(GPU)와 141기가바이트의 최첨단 메모리 및 72코어 암(ARM) 기반의 프로세서(CPU)를 결합했다.
이 칩에 초당 5테라바이트(TB)의 속도로 정보에 접근할 수 있는 고대역폭 메모리 HBM3e가 탑재됐다. HBM은 여러 개의 D램을 수직으로 연결해 쌓아 기존 D램보다 데이터 처리 속도를 크게 끌어올린 메모리로, HBM3e는 4세대 제품이다.
젠슨 황 엔비디아 최고경영자(CEO)는 “이 프로세서는 이전 모델보다 훨씬 더 강력하다”며 “증가하는 AI 컴퓨팅 파워 수요를 충족시키기 위해 데이터센터의 규모를 확장하도록 설계됐다”고 설명했다. 그는 이어 “원하는 거의 모든 대규모언어모델(LLM)을 여기에 넣으면 미친 듯이 추론할 수 있을 것”이라며 “이를 통해 LLM 운용 비용도 절감할 수 있을 것”이라고 강조했다. 엔비디아는 이 칩이 더 많은 메모리 용량을 갖고 있어 AI 모델의 추론용으로 적합하기 때문에 더 큰 규모의 AI 모델도 하나의 시스템에 장착할 수 있다고 설명했다. 칩은 내년 2분기 생산될 예정이다. 가격은 공개하지 않았다.엔비디아는 이 칩을 통해 시장 지배력을 강화한다는 전략을 갖고 있다. 현재 엔비디아는 AI 칩 시장의 80% 이상을 점유하고 있다. AMD와 인텔 등도 이 시장에서 점유율을 확대하기 위해 경쟁하고 있다.
엔비디아는 이와 함께 손쉽게 생성형 AI를 개발할 수 있는 플랫폼 ‘AI 워크벤치’도 조만간 출시한다고 발표했다. AI 워크벤치를 통해 그래픽처리장치(GPU)를 이용할 수 있으면 누구나 생성형 AI 크리에이터가 될 수 있다고 엔비디아는 설명했다.
여기에는 생성형 AI 개발을 위한 프로젝트 예시들이 구축돼 AI 개발을 쉽게 시작할 수 있고, 엔비디아의 DGX 클라우드는 물론 PC와 클라우드를 넘나들며 프로젝트를 수행할 수 있다. DGX 클라우드는 엔비디아의 AI 슈퍼컴퓨팅 서비스다. 기업의 디지털 전환을 위한 툴을 제공한다. 이 플랫폼은 올 가을 출시될 예정이다.엔비디아는 또 허깅페이스에 DCX 클라우드를 접목해 전 세계 수백만 명의 개발자들이 생성형 AI 슈퍼컴퓨팅에 연결할 수 있도록 지원할 예정이다. 허깅 페이스는 이용자가 머신러닝 모델 및 데이터 세트를 공유할 수 있는 세계 최대 플랫폼이자 커뮤니티다.
실리콘밸리=최진석 특파원 iskra@hankyung.com
미국의 반도체 기업 엔비디아가 차세대 인공지능(AI) 칩을 공개했다. 날로 증가하는 AI 컴퓨팅 파워 수요를 소화하기 위해 이전 제품보다 성능을 끌어올린 것이 특징이다. 이를 통해 현재 80% 이상을 점유하고 있는 AI 칩 시장 지배력을 더욱 강화하겠다는 전략이다.엔비디아는 8일(현지 시각) 미국 로스앤젤레스에서 열린 컴퓨터 그래픽스 콘퍼런스 시그래프에서 차세대 AI 칩 ‘GH200 그레이스 호퍼 슈퍼칩’을 내놨다. 현재 엔비디아의 최고급 AI 칩인 H100과 같은 그래픽처리장치(GPU)와 141기가바이트의 최첨단 메모리 및 72코어 암(ARM) 기반의 프로세서(CPU)를 결합했다.
이 칩에 초당 5테라바이트(TB)의 속도로 정보에 접근할 수 있는 고대역폭 메모리 HBM3e가 탑재됐다. HBM은 여러 개의 D램을 수직으로 연결해 쌓아 기존 D램보다 데이터 처리 속도를 크게 끌어올린 메모리로, HBM3e는 4세대 제품이다.
젠슨 황 엔비디아 최고경영자(CEO)는 “이 프로세서는 이전 모델보다 훨씬 더 강력하다”며 “증가하는 AI 컴퓨팅 파워 수요를 충족시키기 위해 데이터센터의 규모를 확장하도록 설계됐다”고 설명했다. 그는 이어 “원하는 거의 모든 대규모언어모델(LLM)을 여기에 넣으면 미친 듯이 추론할 수 있을 것”이라며 “이를 통해 LLM 운용 비용도 절감할 수 있을 것”이라고 강조했다. 엔비디아는 이 칩이 더 많은 메모리 용량을 갖고 있어 AI 모델의 추론용으로 적합하기 때문에 더 큰 규모의 AI 모델도 하나의 시스템에 장착할 수 있다고 설명했다. 칩은 내년 2분기 생산될 예정이다. 가격은 공개하지 않았다.엔비디아는 이 칩을 통해 시장 지배력을 강화한다는 전략을 갖고 있다. 현재 엔비디아는 AI 칩 시장의 80% 이상을 점유하고 있다. AMD와 인텔 등도 이 시장에서 점유율을 확대하기 위해 경쟁하고 있다.
엔비디아는 이와 함께 손쉽게 생성형 AI를 개발할 수 있는 플랫폼 ‘AI 워크벤치’도 조만간 출시한다고 발표했다. AI 워크벤치를 통해 그래픽처리장치(GPU)를 이용할 수 있으면 누구나 생성형 AI 크리에이터가 될 수 있다고 엔비디아는 설명했다.
여기에는 생성형 AI 개발을 위한 프로젝트 예시들이 구축돼 AI 개발을 쉽게 시작할 수 있고, 엔비디아의 DGX 클라우드는 물론 PC와 클라우드를 넘나들며 프로젝트를 수행할 수 있다. DGX 클라우드는 엔비디아의 AI 슈퍼컴퓨팅 서비스다. 기업의 디지털 전환을 위한 툴을 제공한다. 이 플랫폼은 올 가을 출시될 예정이다.엔비디아는 또 허깅페이스에 DCX 클라우드를 접목해 전 세계 수백만 명의 개발자들이 생성형 AI 슈퍼컴퓨팅에 연결할 수 있도록 지원할 예정이다. 허깅 페이스는 이용자가 머신러닝 모델 및 데이터 세트를 공유할 수 있는 세계 최대 플랫폼이자 커뮤니티다.
실리콘밸리=최진석 특파원 iskra@hankyung.com