엔비디아는경쟁자가없는가라는 질문에 빅테크 추론 칩들이 던진 균열의 신호

엔비디아는경쟁자가없는가? 데이터센터 시장 점유율 86%라는 숫자만 보면 이 질문은 우문처럼 들린다. 하지만 올해 전 세계 AI 지출 2조5000억 달러 중 절반 이상이 서버·가속기 인프라에 쏟아지는 가운데, 정작 가장 많은 돈을 쓰는 핵심 고객들의 계산기는 다른 답을 내고 있다. 엔비디아 GPU에 가장 많이 베팅해온 빅테크들이 지금은 저마다 엔비디아 의존도를 낮추는 연합 전선을 짜고 있기 때문이다.

단순한 칩 성능보다 무서운 쿠다 생태계의 3대 종속 구조

엔비디아의 독주는 단순한 하드웨어 성능만으로 설명되지 않는다. 동일한 H100 GPU를 사용하더라도 컴파일러, 가속 라이브러리, 드라이버 최적화 수준에 따라 실제 처리량이 3배 이상 벌어진다. AI 인프라의 본질적 경쟁력은 칩 위에서 소프트웨어를 얼마나 효율적으로 구현하느냐에 달려 있다.

소프트웨어정책연구소 분석에 따르면 AI 인프라는 개발 프레임워크, 컴파일러, 가속 라이브러리, 드라이버 및 런타임, 하드웨어의 5계층으로 구성된다. 엔비디아는 지난 20년간 개발자가 사용하는 파이토치부터 텐서알티(TensorRT), 쿠디엔엔(cuDNN)에 이르는 전 계층을 쿠다(CUDA) 아키텍처에 종속시켰다.

이 과정에서 세 가지 강력한 락인이 발생한다. 첫째는 최적화 비대칭으로 특정 칩으로 수렴하는 성능 종속이다. 둘째는 소프트웨어 선택이 곧 하드웨어 경로를 결정하는 설계 종속이다. 셋째는 폐쇄형 드라이버 구조가 물리적 대체를 가로막는 구조적 종속이다. 이미 쿠다 기반으로 최적화된 대규모 AI 모델 코드를 다른 반도체용으로 재작성하는 데는 막대한 인력과 시간이 소모되므로 칩 교체 자체가 시스템 전체의 재구축을 의미한다. 이것이 경쟁사들이 쉽게 넘지 못한 진입장벽의 본질이다.

거대언어모델 연산의 중심축이 학습에서 추론으로 이동하며 생긴 틈새

하지만 영원할 것 같던 이 구조에 균열이 생기는 이유는 AI 워크로드의 성격 변화에 있다. 모델을 개발하고 훈련시키는 초기 단계에서는 유연성과 범용성이 뛰어난 엔비디아 GPU가 절대적이었다. 그러나 상용 서비스가 본격화되면서 24시간 쉬지 않고 사용자 질의에 응답해야 하는 추론 연산의 비중이 급격히 커졌다.

추론 영역에서는 다양한 연산을 지원하는 범용성보다 단위 연산당 전력 효율과 비용 절감이 핵심 경쟁력으로 작용한다. 학습 단계에서 굳어진 쿠다 의존도를 추론 단계에서까지 감당하기에는 빅테크의 운영 비용 부담이 한계에 도달한 것이다.

오픈AI가 브로드컴과 손잡고 설계한 맞춤형 추론 반도체 할라피뇨(Jalapeño)는 이러한 시장 변화를 상징적으로 보여준다. 개발 착수 9개월 만에 테이프아웃을 달성한 이 칩은 EUV 단일 노광 한계인 858mm²에 육박하는 840mm² 크기의 대형 컴퓨팅 칩렛에 6개의 HBM 모듈을 결합했다.

할라피뇨는 최신 대형언어모델 구동 시 발생하는 메모리 이동 병목과 네트워크 지연을 해소하도록 설계됐다. 기존 범용 GPU 대비 인프라 비용을 약 50% 절감할 수 있으며 최신 블랙웰 아키텍처보다 최대 3.6배 빠른 속도를 낼 수 있다고 주장한다. 현재 연구실에서 GPT-5.3-코덱스-스파크 등의 워크로드를 안정적으로 구동 중이며 2026년 말부터 마이크로소프트와 함께 기가와트(GW)급 데이터센터에 본격 배치될 예정이다.

구글이 자체 TPU 생태계를 수직 통합하고 메타와 아마존이 자체 칩 설계를 확장하는 상황에서 오픈AI까지 독자 반도체 연합에 합류한 것은 엔비디아의 가격 결정력에 강력한 경고음이다.

중국 오픈웨이트 모델의 약진과 자체 칩 내재화가 촉발한 독점 가격 구조의 균열

미국의 대중국 반도체 수출 통제 역시 역설적으로 엔비디아 대체재의 등장을 앞당겼다. 엔비디아 첨단 GPU 공급이 제한되자 중국 AI 기업들은 소프트웨어 최적화와 자체 반도체 개발로 활로를 뚫었다.

딥시크는 초기 R1 모델을 엔비디아 H800으로 학습했으나 이후 V4 모델을 화웨이 어센드(Ascend) 칩에 맞춰 최적화했고 현재는 독자적인 추론 전용 칩 개발에 착수했다. 지푸 AI 역시 미국 버셀 플랫폼에서 출시 첫 주 일일 토큰 사용량이 27배 급증한 GLM-5.2 모델에 최적화된 맞춤형 가속기 개발을 타진하고 있다.

딥시크가 H800에서 화웨이 어센드로, 그리고 자체 추론칩 설계로 넘어간 순서와 지푸 GLM-5.2가 버셀에서 27배 토큰 폭증을 기록한 사례는 같은 방향을 가리킨다. 최첨단 H200이나 블랙웰을 독점적으로 쓰지 않아도 오픈웨이트 모델의 알고리즘 개선만으로 상용 수준의 LLM 서비스가 가능하다는 뜻이다. 칩 수급 제약이 역설적으로 전용 아키텍처 내재화를 강제하는 촉매가 된 셈이다.

하드웨어 단가를 넘어 총소유비용(TCO) 관점에서 시작된 마진 압박

결국 시장의 승부처는 단순 칩 가격이 아니라 전력 효율과 유지보수를 포함한 총소유비용(TCO)이다. 엔비디아가 하드웨어 판매로 70%가 넘는 매출총이익률을 누려온 배경에는 대안의 부재가 있었다. 그러나 빅테크가 자체 주문형 반도체(ASIC)를 직접 투입해 50%의 인프라 비용을 아끼기 시작하면 엔비디아의 독점 프리미엄은 하향 압력을 받을 수밖에 없다.

물론 엔비디아의 지배력이 단기간에 무너진다고 보기는 어렵다. 자체 ASIC 설계는 천문학적 자본과 수년의 시간이 소요되며 최첨단 파운드리와 HBM 확보라는 실물 공급망의 한계가 존재한다. UXL 재단이나 오픈엑스엘에이(OpenXLA) 같은 멀티벤더 표준 소프트웨어가 완전한 성숙 단계에 이르기 전까지는 엔터프라이즈 시장의 쿠다 락인이 유지될 가능성이 높다.

따라서 향후 AI 인프라 시장은 초거대 모델 학습을 주도하는 엔비디아의 풀스택 인프라와 대규모 서비스 비용을 절감하는 빅테크 자체 ASIC의 이원화 구조로 재편될 공산이 크다.

AI 반도체 인프라 시장을 바라보는 3가지 판단 기준

워크로드의 추론 전환율: 전체 데이터센터 연산 중 학습 비중 대비 추론 비중의 증가 속도. 추론 비중이 확대될수록 자체 ASIC의 경제적 가치가 기하급수적으로 커진다.
빅테크 자체 칩의 실전 수율: 2026년 말부터 데이터센터에 투입되는 오픈AI 할라피뇨 등 빅테크 자체 반도체의 실제 양산 수율과 전력 효율 검증 결과.
멀티벤더 소프트웨어 표준의 확산: UXL 재단 등 특정 벤더에 종속되지 않는 오픈소스 컴파일러 생태계의 발전 속도와 쿠다 전환 비용 감소 추이.

확인한 자료

투자 고지 — 이 글은 일반적인 정보 제공 목적이며 특정 종목·상품에 대한 투자 권유가 아닙니다. 투자 판단과 그 결과에 대한 책임은 독자 본인에게 있습니다.

Google에서 TrueMyPick을 선호 출처로 추가하세요.