엔비디아 진짜 해자는 GPU가 아니다 | CUDA·NVLink·Mellanox가 만든 AI 시스템
📺 원본 영상: 엔비디아 진짜 해자는 GPU가 아니다 | CUDA·NVLink·Mellanox가 만든 AI 시스템
🎙️ 채널: 안될공학 - IT 테크 신기술
📅 정리 일자: 2026-09-12
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료와 차트, 코드, 슬라이드 등은 포함되지 않을 수 있습니다.
개요
이 영상은 NVIDIA의 경쟁력을 GPU라는 단일 반도체의 성능만으로 설명할 수 있는지 묻는다. 강연자는 AI 모델이 단일 GPU를 넘어 수백 장과 수천 장의 GPU에서 실행되기 시작하면, 계산 속도보다 메모리 공급과 GPU 간 통신, 서버 간 네트워크, 전력과 냉각, 소프트웨어 호환성이 전체 성능을 좌우한다고 분석한다. 이에 따라 NVIDIA의 진정한 해자는 강력한 GPU를 중심으로 CUDA, NCCL, NVLink, NVSwitch, InfiniBand, GPUDirect RDMA, DGX를 결합해 GPU가 기다리는 시간을 줄인 통합 시스템에 있다는 것이 영상의 핵심 주장이다.
그래픽 처리 장치가 AI 계산 플랫폼이 된 이유
GPU는 처음부터 인공지능을 위해 만들어진 반도체가 아니었다. 그래픽 처리에서는 화면을 구성하는 수많은 픽셀의 색상과 밝기를 반복해서 계산해야 하며, FHD 화면 한 장만 해도 200만 개가 넘는 픽셀을 처리해야 한다. 게임이 초당 60프레임이나 120프레임으로 동작한다면 비슷한 계산을 매초 수십 번에서 수백 번 반복해야 하므로, 복잡한 작업 하나를 순차적으로 처리하는 능력보다 많은 연산기가 동일한 종류의 작업을 동시에 수행하는 능력이 중요해진다.
강연자는 이 차이를 CPU와 GPU의 역할에 빗대어 설명한다. CPU가 복잡한 순서와 다양한 예외가 존재하는 작업을 소수의 강력한 코어로 처리하는 장치라면, GPU는 상대적으로 단순하고 유사한 계산을 대규모로 나누어 처리하는 계산 공장에 가깝다. 신경망 학습 역시 그래픽 렌더링과 동일한 작업은 아니지만, 수많은 숫자에 대해 곱셈과 덧셈을 반복한다는 점에서 GPU의 병렬 구조와 잘 맞았다.
그러나 병렬 연산기가 많다는 사실만으로 GPU가 곧바로 범용 AI 가속기가 되는 것은 아니었다. 초기 GPU는 화면을 그리는 명령 체계를 중심으로 설계되었기 때문에, 과학 계산을 수행하려는 연구자는 데이터를 그래픽 정보처럼 변환하고 그래픽 명령을 우회적으로 사용해야 했다. GPU 안에는 충분한 계산 자원이 있었지만, 개발자가 그 자원에 원하는 작업을 자연스럽게 전달할 수 있는 범용 프로그래밍 체계가 부족했던 것이다.
CUDA가 만든 첫 번째 해자
이 간극을 메운 것이 CUDA(Compute Unified Device Architecture)다. 영상에 따르면 Stanford University에서 GPU 범용 계산을 연구하던 Ian Buck의 팀은 Brook이라는 프로그래밍 모델을 개발했고, NVIDIA는 2004년 Ian Buck을 영입했다. 이러한 연구의 흐름은 개발자가 과학 계산을 그래픽 작업으로 위장하지 않고도 C와 C++에 가까운 방식으로 GPU에 전달할 수 있는 CUDA 플랫폼으로 이어졌다.
CUDA의 의미는 새로운 GPU를 발명했다는 데 있지 않다. GPU는 이미 그래픽 처리를 위해 병렬 구조로 발전하고 있었고, CUDA는 그 계산 능력을 그래픽 바깥의 문제에 사용할 수 있도록 접근 경로를 제공했다. 이후 NVIDIA는 CUDA 프로그램이 효율적으로 실행되도록 GPU 명령 구조와 메모리 시스템, 연산 장치, 컴파일러와 디버거, 성능 분석 도구를 함께 발전시켰다. 소프트웨어가 하드웨어의 활용 범위를 넓히고, 새롭게 확장된 활용 범위가 다시 하드웨어 설계에 영향을 주는 선순환이 만들어진 셈이다.
CUDA는 하나의 프로그래밍 언어가 아니라 개발 도구와 최적화 라이브러리를 포함한 플랫폼이다. 같은 행렬곱이라도 데이터를 어떻게 분할하고, 메모리에서 어떤 순서로 가져오며, 연산 장치에 얼마나 중단 없이 공급하는지에 따라 실제 처리 속도는 크게 달라진다. NVIDIA는 이러한 신경망 연산을 최적화한 cuDNN 등의 라이브러리를 제공했고, PyTorch와 TensorFlow 같은 프레임워크가 이를 활용하면서 개발자는 CUDA 코드를 직접 작성하지 않고도 NVIDIA GPU의 성능을 사용할 수 있게 되었다.
CUDA는 결과적으로 개발자의 시야에서는 점차 보이지 않게 되었지만, AI 개발 환경의 아래쪽에는 더욱 깊이 자리 잡았다. 연구자가 PyTorch에서 모델을 정의하면 그 밑에서 프레임워크와 최적화 라이브러리, CUDA 런타임과 GPU 하드웨어가 연속적으로 작동한다. 이 구조는 개발자의 생산성을 높이는 동시에 기존 코드와 도구, 인력의 경험이 NVIDIA 플랫폼에 축적되도록 만들었으며, 단순한 칩 성능 비교만으로는 설명하기 어려운 생태계 해자를 형성했다.
04:37 - PyTorch와 TensorFlow 아래에서 프레임워크, 최적화 라이브러리, CUDA와 GPU가 계층적으로 작동하는 구조
AlexNet 이후 드러난 플랫폼의 힘
2012년 AlexNet은 두 장의 GeForce GTX 580을 이용해 학습되었고, ImageNet 대회에서 기존 방식과 큰 성능 차이를 보였다. 강연자는 NVIDIA가 이 시점부터 현재의 생성형 AI 시대를 완벽하게 예견했다고 단정하는 것은 과장일 수 있다고 선을 긋는다. 그럼에도 AI 연구가 본격적으로 폭발하기 시작했을 때 NVIDIA는 병렬 연산 하드웨어뿐 아니라 연구자가 그 하드웨어를 실제로 사용할 수 있게 해주는 CUDA 환경까지 이미 갖추고 있었다.
이 선점의 의미는 새로운 연구 아이디어가 등장할 때마다 별도의 하드웨어 사용법을 처음부터 만들 필요가 없었다는 데 있다. 연구자는 익숙한 프레임워크와 라이브러리를 통해 GPU를 활용할 수 있었고, NVIDIA는 반복적으로 등장하는 연산 패턴을 하드웨어와 소프트웨어 양쪽에서 최적화할 수 있었다. GPU는 더 이상 계산 성능만 판매하는 부품이 아니라, 연구와 개발을 즉시 시작할 수 있는 계산 플랫폼으로 변했다.
하지만 모델이 커지고 한 장의 GPU 메모리에 들어가지 않게 되면서 CUDA만으로 해결할 수 없는 문제가 나타났다. 학습 과정에서는 모델 파라미터뿐 아니라 입력 데이터와 중간 활성값, 파라미터를 어느 방향으로 수정할지 계산하기 위한 그래디언트와 관련 상태도 저장해야 한다. 따라서 실제 학습에 필요한 메모리는 완성된 모델 파일의 크기보다 훨씬 커질 수 있으며, 대규모 모델은 자연스럽게 여러 GPU에 분산될 수밖에 없다.
GPU를 늘려도 성능이 비례하지 않는 이유
GPU를 여러 장 투입하면 이론적인 계산 능력은 늘어나지만, 학습 속도가 GPU 수에 정확히 비례해서 빨라지지는 않는다. 여러 GPU가 서로 다른 학습 데이터를 처리하면 각 GPU는 조금씩 다른 그래디언트를 계산하고, 다음 학습 단계로 넘어가기 전에 이 결과들을 합쳐 동일한 모델 상태를 유지해야 한다. 한 GPU가 먼저 계산을 끝내더라도 다른 GPU의 결과가 도착하지 않으면 다음 단계로 진행할 수 있으므로, GPU 수가 늘수록 계산 자원뿐 아니라 동기화 비용도 함께 증가한다.
여러 GPU의 값을 합산한 뒤 그 결과를 모든 GPU에 다시 전달하는 대표적인 집합 통신이 All-Reduce다. 강연자는 네 장의 GPU가 각각 1, 2, 3, 4라는 값을 계산했다면, 이 값들을 합친 결과를 모든 GPU가 다시 받아가는 상황으로 원리를 설명한다. 이 과정에서는 가장 늦게 값을 내놓는 GPU나 가장 느린 통신 경로가 전체 학습 단계의 진행을 지연시킬 수 있다.
07:16 - 여러 GPU의 값을 합산하고 동일한 결과를 다시 배포하는 All-Reduce 통신 과정
수백 장이나 수천 장의 GPU가 서로에게 직접 데이터를 보내도록 만들면 연결 관계와 복사 과정이 지나치게 복잡해진다. 따라서 데이터를 작은 조각으로 나누어 인접 GPU에 순차적으로 전달하는 링(Ring) 방식이나, 여러 단계의 가지를 따라 결과를 모은 뒤 다시 배포하는 트리(Tree) 방식 등이 사용된다. 어느 알고리즘이 더 효율적인지는 데이터 크기와 GPU 수, 서버의 물리적 연결 구조에 따라 달라지므로, 대규모 학습의 성능은 연산 칩뿐 아니라 통신 패턴을 얼마나 효율적으로 설계하느냐에 좌우된다.
이 역할을 담당하는 NVIDIA의 핵심 라이브러리가 NCCL(NVIDIA Collective Communications Library)이다. CUDA가 GPU 내부의 수많은 연산 장치에 작업을 배분하고 실행하는 기반이라면, NCCL은 여러 GPU가 데이터를 어떤 순서와 경로로 주고받을지 관리한다. CUDA가 단일 GPU의 계산 능력을 범용적으로 꺼내는 도구였다면, NCCL은 여러 GPU를 하나의 학습 시스템으로 작동시키는 소프트웨어 계층이라고 볼 수 있다.
NVLink와 NVSwitch가 만드는 Scale-up
통신 알고리즘을 아무리 효율적으로 설계해도 데이터가 지나가는 물리적 통로의 대역폭이 좁다면 성능은 제한된다. 일반적인 서버에서는 CPU와 GPU, SSD, 네트워크 인터페이스 카드가 PCI Express(PCIe)를 통해 연결되지만, 대규모 AI 학습에서는 GPU들이 매우 많은 데이터를 반복해서 교환해야 한다. NVIDIA가 GPU 사이의 전용 고속 연결 기술인 NVLink를 개발한 배경도 여기에 있다.
GPU가 두 장 정도라면 직접 연결하는 것이 비교적 단순하지만, 여덟 장이나 수십 장으로 증가하면 모든 GPU를 복잡한 배선으로 연결하기 어렵다. 이때 중간에서 특정 GPU의 데이터를 목적지 GPU로 전달하는 교환 장치가 NVSwitch다. NVLink가 GPU 사이에 놓인 고속 통로라면, NVSwitch는 수많은 통로를 연결해 데이터의 이동 방향을 정하는 환승센터에 해당한다.
이 구조가 중요한 이유는 GPU들이 독립된 그래픽 카드의 집합에서 하나의 더 큰 계산 장치로 변하기 때문이다. 한 서버나 한 랙 안의 GPU를 높은 대역폭으로 촘촘하게 연결해 더 큰 계산 자원처럼 사용하는 방식을 Scale-up(스케일업)이라고 한다. 개별 GPU의 최고 연산량뿐 아니라 GPU들이 얼마나 빠르게 데이터를 공유하고 동기화할 수 있는지가 시스템의 실효 성능을 결정하게 된다.
09:11 - NVLink와 NVSwitch가 여러 GPU를 하나의 큰 계산 장치처럼 연결하는 구조
다만 한 랙에 GPU를 무한정 추가할 수는 없다. GPU 수가 늘수록 전력 공급과 발열 제어가 어려워지고, 스위치와 케이블이 차지하는 공간도 커진다. 결국 더 큰 모델과 작업을 처리하려면 여러 서버와 랙을 하나의 클러스터로 연결해야 하며, 이 지점에서 문제는 랙 내부의 Scale-up에서 랙 외부의 Scale-out(스케일아웃)으로 확장된다.
💡 [영상 참조] 강연자는 이 구간에서 NVLink와 NVSwitch를 이용해 여러 GPU를 하나의 계산 장치처럼 묶는 구조를 설명한다. 자세한 내용은 위 화면과 원본 영상을 참조할 수 있다.
Mellanox 인수가 완성한 Scale-out 전략
Scale-up과 Scale-out은 모두 장치를 연결하는 기술처럼 보이지만 해결해야 하는 문제가 다르다. 랙 안에서는 가까운 GPU들이 매우 높은 대역폭으로 빈번하게 데이터를 교환해야 하는 반면, 랙 밖에서는 더 먼 거리에 분산된 수많은 서버를 낮은 지연시간과 높은 안정성으로 연결해야 한다. NVIDIA는 NVLink와 NVSwitch를 통해 랙 내부 연결 기술을 확보했지만, 클러스터 전체로 범위를 넓히기 위해서는 고성능 네트워크 기술이 필요했다.
이 맥락에서 Mellanox 인수의 전략적 의미가 드러난다. NVIDIA는 2019년 고성능 네트워크 기업 Mellanox를 약 69억 달러에 인수하겠다고 발표했고, 거래는 2020년에 완료되었다. Mellanox는 InfiniBand와 고성능 Ethernet, 네트워크 어댑터와 스위치 기술을 보유한 기업이었기 때문에, 인수는 단순한 사업 다각화가 아니라 GPU의 다음 병목을 서버 간 네트워크에서 해결하려는 선택으로 해석할 수 있다.
계산 장치가 빨라지고 GPU 수가 늘어날수록 데이터가 서버 사이를 이동하는 시간은 전체 학습 시간에서 더 큰 비중을 차지한다. 생성형 AI 열풍 이전에도 슈퍼컴퓨팅과 대규모 데이터 분석 분야에서는 연산 장치의 성능 향상에 비해 네트워크가 전체 성능을 제한하는 문제가 알려져 있었다. 강연자는 NVIDIA가 생성형 AI의 폭발을 정확히 예언했다고 단정하기보다, 연산 성능이 높아질수록 다음 병목이 네트워크로 이동한다는 구조를 일찍 파악했다고 평가한다.
Mellanox를 통해 NVIDIA는 GPU와 CUDA만 제공하는 회사에서 데이터센터의 통신 구조까지 설계하는 회사로 확장될 수 있었다. 이는 GPU 판매량을 늘리는 것 이상의 의미를 갖는다. 고객이 더 많은 GPU를 설치할수록 NVIDIA의 네트워크 기술과 소프트웨어가 함께 필요해지는 구조가 만들어지면서, 개별 제품이 서로의 수요와 가치를 강화하기 때문이다.
RDMA와 GPUDirect RDMA가 줄이는 비계산 시간
일반적인 서버 간 데이터 전송에서는 CPU가 데이터를 시스템 메모리로 복사하고 네트워크 카드에 전송을 지시한다. 반대편에서도 네트워크로 들어온 데이터가 CPU와 시스템 메모리를 거쳐 GPU로 이동할 수 있으므로, GPU끼리 데이터를 한 번 교환하는 과정에 여러 차례의 복사와 CPU 개입이 발생한다. 작은 시스템에서는 이러한 부담을 감당할 수 있지만, 수천 장의 GPU가 매 학습 단계마다 데이터를 교환하면 복사 지연과 CPU 작업이 누적된다.
RDMA(Remote Direct Memory Access)는 네트워크 장치가 상대 시스템의 메모리와 직접 데이터를 주고받아 CPU 개입을 줄이는 기술이다. NVIDIA의 GPUDirect RDMA는 이러한 직접 전송 경로를 GPU 메모리까지 확장한다. GPU가 계산을 마친 뒤 CPU가 데이터를 옮겨줄 때까지 기다리는 구간을 줄임으로써, GPU 자체의 최고 연산 속도를 높이지 않고도 시스템 전체의 처리량을 높일 수 있다.
11:44 - RDMA와 GPUDirect RDMA가 CPU 개입과 메모리 복사를 줄이는 데이터 이동 경로
이 대목은 영상 전체를 관통하는 핵심 관점을 잘 보여준다. AI 시스템의 성능은 GPU가 얼마나 빠르게 계산할 수 있는지만으로 결정되지 않으며, GPU가 실제로 계산하고 있는 시간의 비율이 중요하다. GPU가 메모리 복사와 CPU 개입, 네트워크 전송을 기다리는 시간이 길다면 높은 이론 성능은 실제 작업 처리량으로 이어지지 않는다.
따라서 NVIDIA의 기술 전략은 최고 연산량을 계속 높이는 동시에 계산 장치가 쉬는 시간을 줄이는 방향으로 전개된다. HBM은 GPU 바로 옆에서 데이터를 공급하고, NVLink와 NVSwitch는 GPU 사이의 교환을 가속하며, InfiniBand와 고성능 Ethernet은 서버와 랙 사이의 통신을 담당한다. RDMA와 GPUDirect RDMA는 이들 계층 사이에서 불필요한 복사와 중간 개입을 줄여 데이터가 더 직접적인 경로로 움직이게 한다.
MoE가 보여주는 네트워크의 새로운 중요성
MoE(Mixture of Experts)는 모델 내부에 서로 다른 전문가 역할을 하는 여러 신경망을 두고, 입력마다 필요한 일부 전문가만 선택해 사용하는 구조다. 모든 파라미터를 매번 계산하지 않아도 되므로 계산량을 줄일 수 있지만, 선택된 전문가가 서로 다른 GPU에 배치되어 있다면 입력 데이터를 해당 GPU로 전송하고 결과를 다시 받아와야 한다. 계산량 절감이 통신량 증가로 이어질 수 있는 구조적 교환관계가 생기는 것이다.
기존의 데이터 병렬 학습에서 중요한 All-Reduce가 여러 GPU의 값을 하나로 합치고 결과를 다시 공유하는 통신이라면, MoE에서는 GPU들이 서로 다른 데이터를 복잡하게 교환하는 All-to-All 통신의 중요성이 커진다. 데이터가 어느 GPU에서 어느 GPU로 이동해야 하는지가 입력과 전문가 선택에 따라 달라지므로, 네트워크의 혼잡과 지연시간이 모델의 실제 성능에 직접적인 영향을 미친다. 모델 아키텍처의 변화가 곧 네트워크 요구사항의 변화로 연결되는 셈이다.
12:25 - MoE 모델에서 전문가가 배치된 GPU 사이로 데이터가 이동하는 All-to-All 통신
이 사례는 네트워크를 GPU에 붙는 주변 부품으로만 볼 수 없는 이유를 보여준다. 최신 AI 모델에서는 연산 배치 방식과 데이터 이동 방식이 하나의 문제로 결합되며, 네트워크가 느리면 계산 장치가 충분히 활용되지 못한다. 따라서 네트워크는 이미 완성된 계산을 전달하는 수동적 통로가 아니라 모델의 실효 성능을 결정하는 계산 시스템의 일부가 된다.
💡 [영상 참조] 강연자는 All-Reduce와 All-to-All 통신의 차이를 설명하며 MoE에서 GPU 사이의 데이터 이동이 어떻게 복잡해지는지 다룬다. 자세한 내용은 위 화면과 원본 영상에서 확인할 수 있다.
DGX가 부품 집합을 검증된 시스템으로 바꾸다
GPU와 연결 장치, 네트워크 기술이 모두 존재한다고 해서 고객이 이 부품들을 조립하기만 하면 최적의 성능을 얻는 것은 아니다. CPU와 메모리 구성, GPU와 스위치의 연결 순서, 전력 공급과 냉각 방식, 운영체제와 드라이버, CUDA와 통신 라이브러리의 버전 조합까지 함께 검증해야 하기 때문이다. 빠른 부품을 모으는 능력과 그 부품들이 지속적이고 안정적으로 함께 작동하도록 만드는 능력은 서로 다른 기술이다.
NVIDIA는 2016년 DGX-1을 공개하며 여덟 장의 GPU와 NVLink, CPU, 저장장치, 딥러닝 소프트웨어를 하나의 검증된 시스템으로 묶었다. DGX의 핵심은 그래픽 카드 여러 장을 하나의 상자에 넣었다는 데 있지 않다. 고객이 여러 제조사의 부품을 직접 조합하고 성능 저하의 원인을 하나씩 찾아야 하는 부담을 줄이고, NVIDIA가 성능과 호환성을 검증한 기준 시스템에서 AI 개발을 시작하도록 만들었다는 데 의미가 있다.
이후 NVIDIA는 GPU에 데이터를 공급하는 CPU와 네트워크 및 스토리지 관련 작업을 분담하는 DPU(Data Processing Unit), 서버 보드와 랙 설계까지 범위를 넓혔다. 개별 제품의 이름보다 중요한 것은 역할의 분업이다. HBM이 GPU 인근에서 데이터를 공급하고, NVLink와 NVSwitch가 랙 내부의 GPU를 연결하며, InfiniBand와 고성능 Ethernet이 서버와 랙 사이의 데이터를 전달하는 동안 CPU와 DPU는 시스템 관리와 주변 입출력 작업을 나누어 담당한다.
14:14 - HBM, NVLink, NVSwitch, InfiniBand, CPU와 DPU가 AI 시스템에서 역할을 분담하는 전체 구성
이 모든 하드웨어 위에서 소프트웨어는 어떤 데이터를 언제, 어느 경로로 처리할지를 조율한다. NVIDIA가 판매하는 대상은 점차 GPU 한 장의 최고 연산량에서 그 연산량을 실제로 사용할 수 있도록 만드는 조건 전체로 확장되었다. 이는 GPU 제조사가 시스템 아키텍처와 데이터센터 운영 모델을 함께 제시하는 회사로 변했다는 의미다.
NVIDIA 시스템 해자의 작동 방식
영상이 제시하는 NVIDIA의 해자는 어느 한 제품에만 존재하지 않는다. 강력한 GPU가 CUDA 생태계의 가치를 만들고, CUDA에 축적된 개발 도구와 라이브러리가 다시 NVIDIA GPU의 활용도를 높인다. GPU 수가 증가하면 NCCL과 NVLink, NVSwitch가 필요해지고, 클러스터 규모가 커지면 Mellanox에서 확보한 InfiniBand와 Ethernet 기술의 가치가 함께 증가한다.
이 구조에서는 각각의 구성 요소가 독립적으로 판매되는 동시에 다른 구성 요소의 필요성을 강화한다. CUDA에 맞춰 개발된 AI 프레임워크와 애플리케이션은 NVIDIA 하드웨어를 선택하기 쉽게 만들고, NVIDIA의 네트워크와 DGX 시스템은 다수의 GPU를 실제 생산 환경에 배치하는 위험을 줄인다. 고객은 단일 제품의 최고 사양뿐 아니라 개발 시간과 시스템 구축 기간, 장애 대응, 호환성 검증까지 포함한 전체 비용을 고려하게 된다.
따라서 NVIDIA의 경쟁 우위는 GPU 성능과 소프트웨어 생태계, 통신 기술, 시스템 검증 능력이 서로 맞물리는 데서 발생한다. 경쟁사가 비슷한 연산 성능의 칩을 만들더라도 이를 대규모 클러스터에서 안정적으로 운영하려면 컴파일러와 라이브러리, 집합 통신, 고속 인터커넥트, 서버 설계와 관리 도구를 함께 마련해야 한다. 경쟁의 단위가 칩 한 장에서 데이터센터 전체로 넓어지면서 추격해야 할 범위도 함께 커진다.
이 관점에서 NVIDIA의 시스템 해자는 GPU를 대체하는 별도의 해자가 아니다. 강한 GPU가 중심에 있고, 그 GPU가 가능한 한 오랫동안 계산하도록 소프트웨어와 메모리, 네트워크, 시스템 설계가 둘러싼 결합 구조가 해자의 실체다. GPU와 시스템 가운데 하나만 고르는 질문은 이러한 상호의존성을 놓치게 된다.
NVLink Fusion과 연결 규칙을 둘러싼 경쟁
시스템 통합이 깊어질수록 NVIDIA에도 새로운 전략적 문제가 생긴다. Google과 Amazon, Microsoft 같은 대형 클라우드 사업자들이 자체 CPU와 AI 가속기를 개발하고 있기 때문에, 이들이 데이터센터의 모든 계산 장치를 NVIDIA 제품으로 채울 가능성은 높지 않다. 고객이 자체 칩을 도입하면 NVIDIA는 GPU 판매뿐 아니라 전체 시스템에 대한 영향력도 일부 잃을 수 있다.
영상은 NVIDIA가 이에 대응해 NVLink Fusion 전략을 제시했다고 설명한다. 이 전략은 다른 기업이 설계한 맞춤형 CPU와 AI 가속기, 즉 다양한 XPU를 NVIDIA의 NVLink 연결 기술과 랙 구조에 결합할 수 있도록 하는 접근이다. 여기에서 XPU는 GPU만을 의미하지 않으며, 기업이 특정 목적에 맞게 설계한 여러 종류의 가속기를 포괄하는 표현으로 사용된다.
15:20 - 다른 기업의 맞춤형 CPU와 AI 가속기를 NVIDIA 연결 기술에 결합하려는 NVLink Fusion 전략
NVLink Fusion의 실제 채택 범위는 파트너 제품 출시와 클라우드 사업자의 도입 여부를 더 확인해야 한다. 다만 전략적 의도는 비교적 분명하다. 계산 칩을 다른 기업이 설계하더라도 그 칩들이 연결되고 확장되는 시스템의 규칙에는 NVIDIA의 기술이 포함되도록 함으로써, 경쟁의 중심을 칩 소유권에서 인터커넥트와 랙 아키텍처의 표준으로 이동시키려는 것이다.
이 전략이 성공한다면 NVIDIA는 모든 연산 칩을 직접 공급하지 않더라도 이기종 가속기가 함께 작동하는 시스템 계층에서 영향력을 유지할 수 있다. 반대로 클라우드 사업자들이 자체 인터커넥트와 소프트웨어 생태계를 강화한다면, 연결 기술을 둘러싼 표준 경쟁은 더욱 치열해질 수 있다. 따라서 차세대 AI 인프라 경쟁은 누가 가장 빠른 칩을 만드느냐뿐 아니라, 서로 다른 칩을 어떤 규칙으로 연결하고 운영하느냐의 싸움이 될 가능성이 크다.
통합 시스템의 대가와 Vendor Lock-in
NVIDIA의 통합 시스템은 검증된 하드웨어와 소프트웨어 조합을 제공하므로 AI 인프라를 빠르게 구축할 수 있게 한다. 그러나 통합이 깊어질수록 특정 기업에 대한 의존도도 커진다. CUDA와 NVIDIA 라이브러리를 기준으로 작성한 코드를 다른 가속기로 이전하려면 코드 수정과 성능 최적화, 정확성 검증을 다시 수행해야 하기 때문이다.
의존 범위가 네트워크와 서버 관리 도구까지 확장되어 있다면 교체 작업은 더욱 복잡해진다. 칩만 다른 제품으로 바꾸는 것이 아니라 통신 라이브러리와 모니터링 체계, 장애 대응 절차, 운영 인력의 경험까지 재검토해야 한다. 이 전환 비용은 NVIDIA가 확보한 생태계 해자를 강화하지만, 고객에게는 Vendor Lock-in(공급업체 종속) 위험으로 작용한다.
가격 역시 GPU 한 장의 구매가만으로 평가해서는 안 된다. 스위치와 네트워크 인터페이스 카드, 서버, 전력과 냉각, 소프트웨어 운영비를 포함한 총소유비용(TCO)을 함께 고려해야 한다. 고가의 시스템이라도 GPU가 높은 사용률을 유지하며 지속적으로 계산한다면 작업당 비용은 낮아질 수 있지만, 워크로드가 시스템을 충분히 활용하지 못하면 값비싼 GPU가 데이터를 기다리며 유휴 상태에 머무르게 된다.
따라서 가장 크고 복잡한 NVIDIA 시스템이 모든 AI 작업에 적합한 것은 아니다. 반복되는 작업의 종류와 모델 구조가 충분히 고정되어 있다면, 불필요한 범용 기능을 덜어낸 전용 가속기가 더 낮은 비용과 전력으로 작업을 수행할 수 있다. 시스템 선택에서는 명목상 최고 성능보다 실제 워크로드에서 달성 가능한 이용률과 작업당 비용을 비교해야 한다.
빅테크의 자체 AI 칩이 겨냥하는 지점
Google은 TPU를, Amazon은 Trainium을, Microsoft는 Maia를 개발하고 있으며 Meta도 자체 AI 가속기에 투자하고 있다. 강연자는 이 기업들이 NVIDIA GPU와 CUDA의 모든 기능을 그대로 복제하려는 것은 아니라고 설명한다. 자신들의 데이터센터에서 대규모로 반복되는 특정 작업에 맞춰 불필요한 기능을 줄이고 비용과 전력 효율을 개선하는 것이 자체 칩 개발의 주요 목적이라는 것이다.
범용 GPU는 다양한 모델과 빠르게 변화하는 연구 요구에 대응할 수 있다는 장점이 있지만, 그 범용성을 제공하기 위한 기능과 비용도 포함한다. 반면 워크로드가 충분히 크고 안정적으로 반복된다면 전용 칩은 필요한 연산과 데이터 흐름에 집중하도록 설계할 수 있다. 막대한 자체 수요를 보유한 빅테크 기업은 칩 개발비를 대규모 서비스에 분산할 수 있으므로 이러한 최적화의 경제성이 상대적으로 높다.
그렇다고 자체 칩이 NVIDIA 시스템을 즉시 전면 대체한다고 단정하기는 어렵다. 빠르게 변하는 최첨단 모델 연구나 폭넓은 소프트웨어 호환성이 필요한 작업에서는 NVIDIA의 범용 플랫폼이 계속 유리할 수 있고, 예측 가능하며 반복량이 큰 일부 작업에서는 자체 칩이 비용 절감 수단으로 사용될 수 있다. 실제 경쟁은 단일 플랫폼이 모든 작업을 독점하는 형태보다 NVIDIA 시스템과 자체 가속기가 워크로드를 나누어 맡는 혼합 구조로 진행될 가능성도 있다.
영상은 이 질문을 다음 편의 주제로 남긴다. GPU와 ASIC(Application-Specific Integrated Circuit)의 회로 구조 및 비용 차이, Google TPU를 비롯한 빅테크의 자체 칩이 유리해지는 조건을 살펴봐야 대체 가능성을 더 정확히 판단할 수 있다는 것이다. 결국 자체 칩의 위협은 단순한 최고 성능 비교가 아니라 워크로드의 규모와 반복성, 소프트웨어 전환 비용, 전력 효율을 함께 놓고 평가해야 한다.
마무리 / 핵심 정리
NVIDIA의 진짜 해자가 GPU인지 시스템인지 묻는다면, 영상의 결론은 둘을 분리해서는 정확한 답을 얻기 어렵다는 것이다. 강력한 GPU가 없었다면 CUDA와 연결 기술도 지금과 같은 가치를 갖기 어려웠겠지만, 좋은 GPU 한 장만으로는 수천 장의 GPU를 하나의 대규모 학습 작업에 투입할 수 없다. GPU의 계산 능력과 그 능력을 실제로 활용하도록 만드는 시스템은 서로의 가치를 증폭시키는 관계다.
NVIDIA가 구축한 구조의 중심에는 GPU가 계산하는 시간을 늘리고 기다리는 시간을 줄인다는 일관된 목표가 있다. CUDA와 최적화 라이브러리는 개발자가 연산 장치를 효율적으로 사용하게 만들고, HBM은 데이터를 공급하며, NCCL과 NVLink 및 NVSwitch는 GPU 사이의 통신을 조율한다. Mellanox의 InfiniBand와 Ethernet, RDMA와 GPUDirect RDMA는 서버 간 데이터 이동에서 발생하는 지연과 CPU 개입을 줄이고, DGX는 이 요소들을 검증된 시스템으로 통합한다.
이 때문에 NVIDIA를 평가할 때는 GPU의 연산 성능이나 시장점유율만 볼 것이 아니라 전체 스택이 만들어내는 실효 성능과 전환 비용을 함께 살펴야 한다. 동시에 통합 시스템의 높은 가격과 공급업체 종속, 빅테크 자체 칩의 확대는 NVIDIA 해자의 한계를 시험할 변수다. 궁극적으로 NVIDIA의 경쟁력은 가장 빠른 칩을 보유했다는 한 문장보다, 그 칩이 메모리와 통신을 기다리지 않고 계속 일하도록 데이터센터 전체를 설계했다는 설명에 더 가깝다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | 엔비디아 진짜 해자는 GPU가 아니다 | CUDA·NVLink·Mellanox가 만든 AI 시스템 |
| 채널 | 안될공학 - IT 테크 신기술 |
| 영상 길이 | 약 17분 50초 |
| 리포트 작성 | 2026-09-12 |
| 작성 방식 | YouTube 영상 STT 변환 후 문맥 기반 용어 교정 및 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 화면 자료가 제외된 STT의 특성상 도식과 세부 수치는 포함되지 않았을 수 있으므로, 정확한 내용은 원본 영상을 참조해 주세요.