엔비디아 데이터센터 매출의 40%, 추론용 반도체서 나와 "추론용 전환, 엔비디아 실적발표 때 가장 중요한 뉴스"
엔비디아가 주도하는 인공지능(AI) 반도체 경쟁은 학습용에서 더 저렴한 추론용으로 이미 옮겨가고 있으며 엔비디아는 물론 경쟁사에도 기회가 될 것이라고 월스트리트저널(WSJ)이 25일(현지시간) 보도했다. 이들 업체가 맞고 있는 새 전선, 즉 추론용 반도체 시장은 규모가 훨씬 더 크면서도 경쟁이 더욱 치열할 것이라는 게 WSJ의 설명이다.
엔비디아의 선도로 AI 반도체 시장이 성장하면서, AI 모델들이 학습한 후 실행토록 하는 반도체의 판매 업체는 물론, 생성형 AI 도구를 사용해 텍스트와 이미지를 대량으로 생산하는 기업과 사람들에게 더 많은 기회가 창출되고 있다.
이런 변화의 기류는 실제로 엔비디아의 폭발적인 매출 증대에서 그대로 드러나고 있다. 지난주 엔비디아 최고재무책임자(CFO) 콜레트 크레스는 지난해 자사 매출이 470억달러(약 63조원)를 넘은 가운데 데이터센터 사업 매출의 40% 이상이 학습이 아니라 추론 작업을 수행하는 AI 시스템 배치(deployment)에서 나온 것이라고 설명했다.
데이터센터 사업은 엔비디아 매출의 대부분을 차지하고 있으며, 지난해 4분기에는 409% 증가했다.
소위 이런 추론용 반도체는 엔비디아를 AI 붐의 선두주자로 이끈 학습용 반도체보다는 덜 강력하며 저렴하다. 또한 이 같은 실적 공개를 통해 엔비디아가 추론용 반도체로 전환하면 입지가 위협받을 것이라는 일부의 우려도 누그러뜨릴 수 있었다고 WSJ은 전했다.
많은 경쟁사도 AI 시장에서 추론용 반도체가 더 중요해지면서 더 나은 기회를 얻을 것으로 보고 있다.
데이터센터에 들어가는 중앙처리장치(CPU)를 만드는 인텔은 고객들이 AI 모델 운영비 절감에 집중하면서 자사 반도체가 점점 더 매력적으로 될 것이라고 기대한다. 인텔이 전문으로 하는 반도체들은 이미 추론에 널리 사용되고 있으며, 이 작업을 수행할 때는 엔비디아의 최첨단, 그리고 더 고가의 H100 AI 반도체 사용 여부는 그다지 중요하지 않다.
인텔 최고경영자(CEO) 팻 겔싱어는 지난해 12월 인터뷰에서 "추론은 전력을 너무 많이 쓰고 새로운 관리 및 보안 모델과 새로운 IT 인프라가 있어야 하는 4만달러(5천300만원) 상당의 H100 환경을 요구하지 않는다는 점에서 경제적"이라고 말했다.
뱅크오브아메리카(BofA)의 애널리스트인 비벡 아리아는 추론용으로의 전환은 아마도 지난주 엔비디아의 전망치를 웃도는 분기별 실적 발표 때 나온 가장 중요한 뉴스일 것이라고 말했다.
또한 추론 분야의 성장은 예상보다 더 빠를 수도 있을 전망이다.
올해 초 UBS 애널리스트들은 AI 반도체 수요의 90%가 학습에서 비롯된 것으로 추정했으며, 추론은 내년까지 시장의 20%만을 차지할 것으로 내다봤다.
그러나 이들은 엔비디아가 데이터센터 수익의 약 40%를 추론을 통해 창출하고 있다고 밝힌 뒤 보고서에서 "우리 예상보다 더 큰 숫자"라고 말했다.
추론용 반도체 쪽이 성장하면서 인텔이나 AMD와 같은 엔비디아의 주요 경쟁자들 이외에 많은 스타트업들에도 기회가 될 수 있다.
AI 반도체와 소프트웨어 스타트업인 삼바노바(SambaNova), 구글 출신 엔지니어 조너선 로스가 설립한 스타트업 그로크(Groq) 등에 대한 관심도 크게 늘었다.
이밖에 메타와 마이크로소프트(MS), 구글, 아마존 같은 대형 기술기업들도 다가오는 변화를 인식하고 추론용 반도체 개발을 위해 애를 쓰고 있다. 한 예로 아마존은 2018년부터 추론용 반도체를 보유하고 있으며, 이 반도체는 음성인식 비서 기능인 알렉사(Alexa)에 대한 컴퓨팅 비용의 40%를 차지한다고 밝힌 바 있다.