62%. 엔비디아의 2024회계연도 4분기(2023년 11월~2024년 1월) 영업이익률이다. 100원짜리 물건을 팔아 62원을 지갑에 챙기는 ‘엔비디아 매직’은 독점에서 나온다.

마이크로소프트(MS), 구글, 아마존, 메타, 오픈AI, 테슬라 등 먹이사슬 최정점에 있는 기업들도 엔비디아 앞에선 꼼짝 못 한다. 인공지능(AI) 가속기(AI 학습·추론에 필수적인 반도체 패키지)에 붙은 4만~5만달러 가격표에 ‘폭리’라고 수군거리며 조용히 ‘엔비디아 대체’를 준비할 뿐이다.
"5만弗 AI 가속기는 비싸"…삼성전자 '마하1'으로 빅테크 잡는다
삼성전자가 이 틈을 파고들었다. 가성비(가격 대비 성능)가 높은 AI 가속기 ‘마하1’을 개발해 네이버 등에 납품하기로 했다. MS 등 빅테크 대상 세일즈에도 들어갔다.

○삼성 네이버 AI 칩 맞손

21일 업계에 따르면 삼성전자는 자체 개발한 마하1을 연말께 네이버에 AI 서버용으로 납품할 방침이다. 물량은 15만~20만 개로 금액으로 치면 1조원 수준이다. 네이버는 대화형 챗봇과 AI로 식당 추천 서비스 등을 효과적으로 구현하는 과정에 마하1을 활용할 계획이다. 삼성전자의 추가 납품 가능성도 열려 있다.

AI 개발 과정은 대규모 데이터를 습득해 모델을 구축하는 ‘학습’과 모델을 서비스에 적용하는 ‘추론’으로 나뉜다. 대다수 빅테크는 그래픽처리장치(GPU)에 고대역폭메모리(HBM)를 붙인 엔비디아의 AI 가속기를 학습, 추론 구분 없이 활용하고 있다. 대안이 없기 때문이다. 지난해 엔비디아 서버 매출의 40%(188억달러, 약 25조원)가 추론 분야에서 나왔다.

최근 추론 영역에는 GPU 기반이 아니라 맞춤형 AI 가속기가 더 어울린다는 목소리가 커지고 있다. 학습에는 병렬 연산(데이터를 동시에 처리)에 특화한 GPU 기반 AI 가속기가 적합하지만 차별화된 AI 서비스를 하는 데 필요한 추론에는 비싼 데다 전력도 많이 쓰는 엔비디아 제품을 굳이 넣을 필요가 없다는 이유에서다. 최근 MS, 아마존, 메타 등이 신경망처리장치(NPU) 등을 활용한 추론용 AI 가속기 개발에 나선 이유가 여기에 있다.

○“엔비디아 의존도 낮춰라”

‘삼성·네이버 동맹’은 AI 가속기 시장을 뚫어야 하는 삼성과 엔비디아 의존도를 낮추려는 네이버의 이해관계가 맞아떨어진 결과다. 네이버는 지난해 10월 지도를 기반으로 식당 등을 추천하는 ‘네이버 플레이스’ 서비스용 추론 서버를 엔비디아 GPU 기반에서 인텔 중앙처리장치(CPU) 기반으로 전환하기도 했다.

삼성과 네이버는 공동 개발을 통해 AI 가속기의 맞춤형 기능을 강화하는 동시에 가격을 엔비디아 제품의 10분의 1 수준으로 낮추는 데 성공했다. 경계현 삼성전자 디바이스솔루션(DS)부문장(사장)은 지난 20일 주주총회에서 “마하1은 데이터 병목(지연) 현상을 8분의 1로 줄이고 전력 효율을 8배 높인 제품”이라고 설명했다.

삼성전자는 MS, 아마존 등 빅테크를 대상으로 영업을 시작했다. 이 기업들이 AI 가속기 자체 개발에 나섰지만 성능과 비용 면에서 마하1을 함께 쓰는 게 유리할 수 있어서다. 몇몇 빅테크가 큰 관심을 보인 것으로 알려졌다.

특화된 AI 서비스 수요가 늘어나는 데 따라 추론용 AI 가속기 시장은 계속 커질 전망이다. 시장조사업체 옴디아에 따르면 지난해 60억달러이던 추론용 AI 가속기 시장 규모는 2030년 1430억달러로 확대된다. 2025년 기준 AI 가속기 중 추론용 비중이 78%로 학습용(22%)의 세 배가 될 것이란 조사 결과도 있다.

삼성전자는 AI 가속기 칩 개발 역량을 꾸준히 확보할 방침이다. 칩 개발을 담당하는 시스템LSI사업부를 지원하는 ‘범용인공지능(AGI) 컴퓨팅 랩’ 같은 별동대를 조직한 게 대표적이다. 경 사장은 최근 SNS에 “강력한 성능과 더 큰 모델을 소수의 전력과 비용으로 지원하는 AGI 칩의 새로운 버전을 지속적으로 출시할 계획”이라고 밝혔다.

황정수/박의명 기자 hjs@hankyung.com