엔비디아 없이 AI 칩 가능한가? GPU·TPU·xPU 경쟁 속 진짜 셈법 분석
자체 칩을 만들면서도 GPU를 사는 이유
구글이나 아마존처럼 자금과 데이터센터를 갖춘 기업이 AI 칩까지 직접 만들면 엔비디아를 대체할 수 있을까. 영상은 이 질문에서 출발한다. 화자는 자체 칩을 이미 8세대까지 발전시킨 구글이 엔비디아 GPU도 계속 구매한다는 점을 짚는다. 자체 칩의 발전과 GPU 도입이 함께 이루어지고 있다는 것이다.
이 질문의 배경에는 엔비디아의 경쟁력이 GPU 한 장에만 있지 않다는 설명이 있다. 화자는 CUDA, NVLink, 네트워크와 서버가 하나의 시스템으로 묶여 있다고 말한다. 따라서 자체 연산 칩의 등장만으로 전체 시스템의 대체 여부를 판단하기는 어렵다.
GPU에도 전용 연산 회로가 있다
GPU와 AI 전용 칩의 차이를 전용 회로의 유무만으로 나누기는 어렵다. 화자는 2017년 볼타부터 도입된 텐서 코어를 행렬곱을 빠르게 처리하기 위한 전용 연산기로 설명한다. GPU 안에도 특정 계산을 효율적으로 수행하도록 만든 회로가 들어 있는 것이다.
학습과 추론도 구분해서 볼 필요가 있다. 화자는 모델을 학습할 때와 실제 서비스를 운영할 때 칩이 느려지는 이유가 서로 다르다고 설명한다. 같은 AI 계산이라도 어떤 작업을 맡기느냐에 따라 설계에서 중요하게 다룰 문제가 달라진다는 이야기다.
자체 칩은 대규모 반복 작업에서 힘을 발휘한다
특정 계산에 맞춘 회로는 모델이 달라지면 활용도가 낮아질 수 있다. 화자는 “2년 전에는 중요했던 전용 회로가 새 모델에서는 별로 쓸모가 없어질 수도” 있다고 설명한다. 모델의 변화가 하드웨어 설계의 이점을 약화할 수 있다는 지적이다.
이 때문에 화자는 자체 칩의 강점이 특히 드러나는 조건을 정해진 일을 엄청난 규모로 반복하는 경우라고 본다. AI 기술이 빠르게 바뀌는 상황과 같은 계산을 계속 수행하는 상황을 구분해야 한다는 것이다. 자체 칩의 가치를 판단할 때는 칩의 성능뿐 아니라 어떤 일을 얼마나 반복해서 맡길 수 있는지도 중요해진다.
사용자 요청 하나가 모델 실행 한 번을 뜻하지는 않는다
AI 서비스의 작업량을 이해할 때도 반복 실행을 고려해야 한다. 화자는 사용자의 요청이 하나여도 그 일을 끝내기 위해 모델은 여러 번 실행된다고 설명한다. 요청의 개수와 실제 모델 실행 횟수가 같지 않을 수 있다는 뜻이다.
영상 후반부에서 화자는 구글의 TPU, 아마존의 트레이니엄, 메타의 MTIA, OpenAI의 할라피뇨를 언급하며, 각 기업이 자신에게 가장 많이 필요한 계산을 직접 가져가기 시작했다고 설명한다. 자체 칩의 확산을 모든 AI 작업의 일괄 대체보다, 기업별로 필요한 계산이 나뉘어 이동하는 흐름으로 보는 것이다.
연산 칩이 바뀌어도 연결과 메모리는 중요하다
화자는 NVLink Fusion을 엔비디아의 연결 기술을 엔비디아 GPU 밖으로 넓힌 것으로 설명한다. 이는 자체 칩의 확대를 살펴볼 때 연산을 담당하는 칩과 그 칩을 연결하는 기술을 함께 봐야 한다는 점을 보여준다.
09:30 - XLA의 연산 결합과 중간 결과의 메모리 이동 감소
메모리 쪽에서는 고객의 XPU에 맞춰 베이스 다이를 설계하는 방향을 언급한다. 자체 칩을 둘러싼 변화가 연산 회로뿐 아니라 메모리 설계와의 관계에도 이어진다는 설명이다.
무엇이 GPU에서 자체 XPU로 이동하는가
영상이 제시하는 관찰의 출발점은 GPU가 하던 일 가운데 무엇이 자체 XPU로 넘어가는가다. 자체 칩이 등장했다는 사실만으로 GPU의 역할이 사라진다고 보기보다, 어떤 계산이 이동하고 어떤 작업에 기존 시스템이 계속 사용되는지 살펴보자는 제안이다.
15:13 - GPU에서 자체 XPU로 이동하는 작업을 중심으로 시장을 보자는 제안
자체 칩은 정해진 계산을 대규모로 반복할 때 강점을 발휘할 수 있다. 동시에 모델의 변화는 전용 회로의 활용도를 바꿀 수 있고, 연산 칩 주변에는 소프트웨어·연결·메모리가 필요하다. 화자의 설명은 AI 반도체 경쟁을 칩 하나의 우열보다 작업의 배분과 시스템 구성의 변화로 바라보게 한다.
출처
Related Reports
- 구글의 초대형 TPU 8i Max, 8tx 기습 출시, NVIDIA 대항 자체 칩 개발 가속 | 칩 두 개를 붙인 TPU가 노리는 것 | TPU Sync 활용
- 중국 스파이와 불륜설에 휘청이는 엔비디아
- 젠슨 황 불륜 인정, 중국 스파이 의혹까지…엔비디아는 왜 고객사 GPU를 하나하나 세어 봤을까
- 삼성 비장의 카드인데… 엔비디아가 제동 | 핵심 층을 TSMC에서? 3나노 베이스다이 요구 보도 | 메모리 주문하던 엔비디아, 만드는 방식까지 정한다
- AI 작업은 싸졌는데 GPU 임대료는 왜 오를까? | 구글·MS·AWS 실적으로 살펴본 처리 효율, AI가 더 많이 쓰이면 한국 메모리도 바로 늘어날까?