GPU 시대 끝?… 키미K3 | AI 효율 혁명의 진실
📺 원본 영상: GPU 시대 끝?… 키미K3 | AI 효율 혁명의 진실
🎙️ 채널: 안될공학 - IT 테크 신기술
📅 정리 일자: 2026-07-22
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
이 영상은 Moonshot AI의 Kimi K3가 던진 질문, 즉 “AI 모델이 더 효율적이 되면 GPU와 HBM 수요는 줄어드는가”를 중심으로 전개된다. 강연자는 Kimi K3의 2조 8천억 파라미터 규모, 100만 토큰 문맥 길이, Mixture of Experts(MoE), Kimi Delta Attention(KDA) 같은 기술을 설명하면서, 효율 개선이 곧바로 하드웨어 수요 감소로 이어진다는 단순한 해석을 경계한다.
핵심은 GPU가 필요 없어지는 것이 아니라 GPU를 평가하는 기준이 바뀌고 있다는 점이다. 과거에는 모델이 커질수록 더 많은 GPU가 필요하다는 직관이 시장을 지배했다면, 이제는 HBM 용량, 메모리 대역폭, GPU 간 통신, KV 캐시 관리, 서빙 소프트웨어의 효율이 실제 비용을 좌우하는 변수로 부상하고 있다. 여기에 Anthropic이 제기한 Claude 출력 대량 호출 의혹까지 겹치면서, Kimi K3는 기술 구조뿐 아니라 AI 투자 회수 논리와 지식재산권 논쟁까지 건드리는 사례가 되었다.
거대한 모델이 더 적게 계산한다는 역설
강연자가 먼저 짚는 것은 Kimi K3의 숫자 자체가 매우 크다는 점이다. Kimi K3는 전체 2조 8천억 개 파라미터를 가진 모델로 설명되며, 한 번에 최대 100만 개 토큰을 처리할 수 있고, 896개의 전문가 중 토큰마다 16개를 선택하는 MoE 구조를 사용한다. 일반적으로 이 정도 규모의 모델이 등장하면 시장은 “GPU가 얼마나 더 필요할까”를 먼저 떠올리지만, 이번에는 정반대의 반응도 함께 나왔다. 효율적인 AI가 계속 등장하면 같은 성능을 내기 위해 GPU를 예상만큼 많이 사지 않아도 되는 것 아니냐는 의문이다.
이 역설은 Kimi K3의 구조에서 비롯된다. 전체 모델은 거대하지만 매번 모든 파라미터가 계산에 참여하는 것은 아니며, 토큰마다 일부 전문가만 활성화된다. 다시 말해 모델의 저장 규모와 실제 계산 경로가 분리된다. 이 구조는 답변 하나를 생성하는 데 드는 연산량을 낮출 수 있지만, 전체 전문가 가중치를 어딘가의 고대역폭 메모리(HBM)에 준비해 두어야 한다는 현실은 그대로 남긴다.
강연자는 이 지점에서 “GPU 수요가 줄어든다”와 “GPU 수요가 늘어난다”는 해석이 동시에 나오는 이유를 설명한다. 사용량이 그대로라면 효율 향상은 필요한 장비 수를 줄일 수 있다. 그러나 비용이 내려가면 사람과 기업은 더 긴 문서, 더 복잡한 코드 저장소, 더 오래 실행되는 AI 에이전트 작업을 맡기기 시작한다. 결국 단위 작업당 비용은 낮아져도 전체 사용량이 더 빠르게 늘면 GPU와 HBM의 총수요는 오히려 증가할 수 있다.
AI가 GPU를 필요로 하는 진짜 이유
AI 모델이 답을 만든다는 것은 입력 문장을 토큰이라는 작은 단위로 나누고, 이를 숫자로 바꾼 뒤, 모델 내부의 여러 계층을 통과시키며 거대한 행렬 계산을 반복하는 과정이다. 파라미터는 학습 과정에서 조정된 숫자이며, 어떤 단어 뒤에 무엇이 자연스러운지, 코드가 어떤 구조로 이어지는지, 서로 다른 개념이 어떻게 연결되는지가 이 숫자들에 분산되어 반영된다. 따라서 대규모 언어모델의 추론은 단순한 문장 조립이 아니라 엄청난 수의 곱셈과 덧셈을 병렬로 처리하는 작업이다.
GPU가 AI에 적합한 이유도 여기에 있다. GPU는 원래 화면의 수많은 픽셀을 병렬로 처리하기 위해 발전한 장치이고, AI 모델 역시 많은 연산을 동시에 수행해야 하므로 GPU의 병렬 처리 구조와 잘 맞는다. 하지만 계산 능력만으로는 충분하지 않다. GPU가 계산할 숫자, 즉 모델 가중치와 중간 계산값이 제때 도착하지 않으면 GPU는 기다리는 시간이 길어지고 실제 처리량은 떨어진다.
그래서 대형 모델을 실행할 때는 가중치를 GPU 가까이에 있는 HBM에 올려두는 것이 중요하다. 한 장의 GPU에 모델 전체가 들어가지 않으면 여러 GPU에 나누어 담고, 그것도 부족하면 여러 서버에 걸쳐 분산해야 한다. 결국 2조 8천억 파라미터 모델이 부담스러운 이유는 연산량뿐 아니라, 그 연산을 끊김 없이 공급할 메모리 용량과 대역폭, 그리고 GPU 간 통신 구조까지 함께 요구하기 때문이다.
학습 비용과 추론 비용은 다르게 봐야 한다
강연자는 학습과 추론이 요구하는 메모리의 성격이 다르다는 점을 강조한다. 학습 단계에서는 모델이 낸 답의 오류를 계산하고, 그 결과를 이용해 파라미터를 다시 수정해야 한다. 이때는 가중치뿐 아니라 Gradient(그래디언트), Optimizer State(옵티마이저 상태), 중간 계산값까지 저장해야 하므로 메모리 부담이 훨씬 커진다.
반면 추론은 이미 완성된 파라미터를 이용해 답을 생성하는 과정이다. 시장이 Kimi K3를 두고 궁금해하는 핵심도 단지 훈련에 GPU가 몇 대 들어갔는지가 아니라, 실제 서비스에서 답변 하나를 만들어낼 때 비용이 얼마나 낮아졌느냐에 가깝다. AI 서비스가 대규모로 운영될 때는 학습보다 추론이 반복적으로 발생하기 때문에, 단위 추론 비용은 사업성에 직접적인 영향을 준다.
추론 중인 GPU 메모리에도 모델 가중치만 들어 있는 것은 아니다. 입력을 처리하면서 만들어지는 중간값, GPU끼리 데이터를 주고받기 위한 통신 버퍼, 그리고 앞에서 읽은 문장을 기억하기 위한 KV 캐시가 함께 들어간다. 짧은 질문을 거대한 모델에 던질 때는 가중치가 메모리의 대부분을 차지할 수 있지만, 긴 문서를 읽는 사용자가 수백 명 동시에 접속하면 KV 캐시가 더 큰 병목이 될 수 있다. Kimi K3의 MoE와 KDA는 바로 이 서로 다른 부담을 각각 겨냥한 기술로 해석할 수 있다.
MoE는 계산량을 줄이지만 모델 전체를 없애지는 않는다
Kimi K3는 Mixture of Experts, 즉 전문가 혼합 구조를 사용한다. MoE는 Kimi가 처음 만든 기술이 아니며, Google의 Switch Transformer, Mistral의 Mixtral, DeepSeek V3, Alibaba의 Qwen3, 그리고 이전 세대 Kimi K2에서도 이미 사용된 접근법이다. 다만 Kimi K3가 눈에 띄는 이유는 MoE를 훨씬 더 크고 희소한 방향으로 밀어붙였기 때문이다.
강연자가 언급한 비교를 정리하면, Qwen3-235B는 2,350억 파라미터에 전문가 128개를 두고 토큰마다 8개를 선택한다. DeepSeek V3는 6,710억 파라미터 규모에 256개 전문가 중 8개를 사용하고, Kimi K2는 전체 1조 파라미터에 전문가 384개 중 토큰마다 8개를 선택한다. Kimi K3는 전체 모델을 2조 8천억 파라미터로 키우면서 전문가 수를 896개까지 늘렸고, 토큰마다 16개를 선택한다. 선택되는 전문가 수는 늘었지만 전체 전문가 대비 선택 비율은 약 1.8%로 낮아졌다.
| 모델 | 전체 파라미터 | 전문가 수 | 토큰당 선택 전문가 | 선택 비율 |
|---|---|---|---|---|
| Qwen3-235B | 2,350억 | 128개 | 8개 | 약 6.3% |
| DeepSeek V3 | 6,710억 | 256개 | 8개 | 약 3.1% |
| Kimi K2 | 1조 | 384개 | 8개 | 약 2.1% |
| Kimi K3 | 2조 8천억 | 896개 | 16개 | 약 1.8% |
06:43 - Kimi K3와 Qwen3, DeepSeek V3, Kimi K2의 MoE 전문가 선택 비율 비교
이 표가 보여주는 것은 Kimi K3가 단순히 커진 모델이 아니라는 점이다. 전체 모델은 훨씬 커졌지만 실제 계산이 지나가는 경로는 더 희소해졌다. 다만 여기서 “896개 중 16개만 쓰니 계산량이 정확히 56분의 1로 줄었다”고 말할 수는 없다. 공통 계층은 계속 계산되고, 전문가 하나의 크기와 배치 방식에 따라 실제 연산량이 달라지며, 선택되지 않은 전문가의 가중치도 서비스 시스템 어딘가에는 준비되어 있어야 하기 때문이다.
전문가 모델에 대한 흔한 오해
MoE에서 말하는 “전문가”라는 표현은 직관적이지만, 실제 동작을 오해하게 만들기도 한다. 이름만 들으면 수학 문제는 수학 전문가에게, 코딩 질문은 코딩 전문가에게 보내는 구조처럼 보인다. 그러나 강연자는 실제 전문가가 그렇게 명확한 업무 구분을 갖는 것은 아니라고 설명한다. 전문가는 학습 과정에서 서로 다른 계산 패턴을 맡게 된 신경망 블록에 가깝고, 특정 블록이 코드나 수식에서 더 자주 선택될 수는 있어도 하나의 분야만 전담한다고 보기는 어렵다.
또 다른 오해는 896개 중 16개만 선택되면 나머지 모델은 완전히 쉬고 있다는 생각이다. 실제로는 입력 토큰을 임베딩하는 부분, 토큰 사이 관계를 계산하는 Attention(어텐션), 전문가를 선택하는 Router(라우터), 결과를 다시 합치는 공통 계층이 계속 작동한다. 16개 전문가 선택은 MoE가 적용된 계층 안에서 벌어지는 일이며, 처음 선택된 전문가 조합을 답변이 끝날 때까지 계속 사용하는 것도 아니다.
각 토큰은 모델의 여러 계층을 지나면서 매 계층마다 라우터에 의해 다시 전문가를 선택한다. 앞쪽 계층에서는 한 조합을 통과했다가 뒤쪽 계층에서는 전혀 다른 전문가들이 선택될 수 있고, 다음 토큰을 만들 때는 또 새로운 선택이 시작된다. 이 구조는 연산 효율을 높일 수 있지만, 실제 하드웨어에서는 토큰이 여러 GPU 사이를 이동해야 하는 복잡한 통신 문제를 만든다. 특정 전문가에 토큰이 몰리면 어떤 GPU는 바쁘게 일하고 다른 GPU는 대기하는 부하 불균형도 생길 수 있다.
2조 8천억 파라미터가 요구하는 메모리 현실
Kimi K3의 2조 8천억 파라미터는 저장 관점에서도 매우 큰 숫자다. 강연자는 단순 계산으로 16비트 저장 시 가중치만 약 5.6TB, 8비트라면 약 2.8TB, 4비트로 줄여도 이론적으로 약 1.4TB가 필요하다고 설명한다. 여기에 양자화에 필요한 부가 정보, KV 캐시, 중간 계산값, 통신 버퍼는 별도로 들어간다. 따라서 MoE가 매번 읽는 파라미터 수를 줄여준다고 해도, 전체 모델을 서비스 가능한 상태로 유지하기 위한 메모리 부담이 사라지는 것은 아니다.
10:49 - 2조 8천억 파라미터 모델의 16비트, 8비트, 4비트 저장 용량 설명
이 부분에서 강연자는 MoE를 도서관 비유로 설명한다. MoE는 매번 읽는 책의 수를 줄여주지만, 도서관에 보관해야 할 책 전체를 없애주지는 않는다. 사용자가 다음에 어떤 질문을 할지, 다음 계층에서 어떤 전문가가 선택될지 미리 알 수 없기 때문에 전체 가중치는 어딘가에 준비되어 있어야 한다. 이 때문에 Kimi K3 같은 거대한 MoE 모델에서는 순수 연산 성능뿐 아니라 HBM 용량, HBM 대역폭, GPU 간 네트워크, 전문가 배치 전략, 부하 균형이 모두 비용을 좌우한다.
결국 Kimi K3가 보여주는 효율은 “GPU가 덜 필요하다”는 단정으로 해석하기 어렵다. 같은 사용자 수와 같은 작업량을 전제로 하면 장비 수를 줄일 수 있지만, 실제 시장에서는 비용이 낮아질수록 더 많은 작업이 AI로 이동한다. 특히 장문맥, 에이전트, 대규모 동시 접속처럼 메모리와 통신을 많이 쓰는 사용 패턴이 늘어나면, 절약된 자원은 곧바로 더 큰 수요로 흡수될 가능성이 크다.
100만 토큰 문맥과 KV 캐시의 병목
Kimi K3의 또 다른 중요한 숫자는 100만 토큰 문맥 길이다. 토큰은 AI가 글을 읽고 처리하는 단위이며, 100만 토큰이면 책 여러 권, 대규모 코드 저장소, 다수의 논문과 업무 자료를 한꺼번에 넣을 수 있는 규모로 설명된다. 긴 문서를 입력한다고 해서 모델이 파일처럼 단순히 보관하는 것은 아니다. 모델은 입력 전체를 먼저 읽고 각 토큰이 이후 계산에서 사용할 정보를 만들어야 하며, 이 과정을 Prefill(프리필)이라고 부른다.
첫 번째 답이 나온 뒤에는 한 토큰씩 다음 단어를 생성하는 Decode(디코드)가 이어진다. 디코드할 때마다 이전 문장을 처음부터 다시 읽으면 답변 속도가 크게 떨어지기 때문에, 모델은 앞선 토큰을 처리하며 만들어둔 핵심 계산값을 GPU 메모리에 저장해 둔다. 이것이 KV 캐시다. 강연자는 이를 대화를 이어가기 위해 책상 위에 펼쳐놓는 작업 메모에 비유한다.
문제가 되는 것은 대화와 문서가 길어질수록 이 작업 메모가 빠르게 커진다는 점이다. 사용자 한 명의 긴 문서는 감당할 수 있어도, 수백 명이 동시에 긴 자료를 읽히면 KV 캐시는 HBM 용량과 동시 사용자 수를 제한하는 핵심 병목이 된다. 따라서 장문맥 AI 서비스에서는 모델 가중치만큼이나 KV 캐시 관리가 중요해진다. Kimi K3의 KDA는 이 병목을 줄이기 위한 기술로 등장한다.
KDA와 Attention Residuals가 겨냥하는 것
Kimi Delta Attention(KDA)은 긴 문맥에서 커지는 Attention 비용과 KV 캐시 부담을 줄이려는 기술로 설명된다. 일반적인 Attention은 새로운 토큰을 처리할 때 이전 토큰들과의 관계를 살펴보기 때문에 문맥이 길어질수록 참고해야 할 과거 정보와 KV 캐시도 함께 늘어난다. 반면 KDA는 과거의 모든 정보를 매번 그대로 펼쳐놓기보다, 필요한 내용을 제한된 크기의 상태에 계속 반영하는 Linear Attention(선형 어텐션) 계열 접근에 가깝다.
강연자는 일반적인 Attention을 회의가 길어질수록 모든 발언 기록을 책상에 쌓아두는 방식에 비유한다. KDA는 회의가 진행되는 동안 하나의 작업 노트를 계속 고쳐 쓰는 방식에 더 가깝다. 새로운 정보가 들어오면 이를 반영하고, 덜 중요한 정보는 약화시키면서 기존 상태를 업데이트한다. 다만 이것은 사람이 읽을 수 있는 요약문을 만드는 것이 아니라, 신경망이 다음 계산에 사용할 수 있는 수학적 상태를 관리하는 방식이다.
Moonshot AI가 공개한 Kimi Linear 연구에서는 KDA와 MLA를 결합한 480억 파라미터 모델이 KV 캐시 사용량을 최대 75% 줄이고, 100만 토큰 조건에서 디코드 처리량을 약 6배 높였다고 보고했다고 강연자는 설명한다. 그러나 이 수치를 Kimi K3에 그대로 적용할 수는 없다. 해당 결과는 2조 8천억 파라미터의 Kimi K3가 아니라 480억 파라미터 연구용 모델에서 나온 것이기 때문이다. 따라서 Kimi K3의 실제 성능은 기술 보고서가 공개된 뒤 100만 토큰에서의 메모리 사용량, 첫 답변 지연 시간, 초당 생성 토큰 수를 확인해야 한다.
14:06 - Kimi Linear 연구에서 KDA와 MLA 결합 모델의 KV 캐시 절감 및 디코드 처리량 개선 수치
Kimi K3에는 Attention Residuals, 즉 AttnRes로 줄여 부르는 기술도 들어간다. 일반적인 깊은 모델에서는 계층을 지날수록 앞부분의 정보가 여러 번 섞이며 희석될 수 있는데, Attention Residuals는 뒤쪽 계층이 여러 이전 깊이에서 만들어진 정보를 참고하고 필요한 것을 선택해 가져올 수 있도록 설계된 구조로 설명된다. 이는 모델이 깊어질수록 정보 흐름을 보완하는 역할을 한다. Kimi K3는 MoE로 계산을 줄이고, KDA로 장문맥 부담을 낮추며, Attention Residuals로 깊은 모델 내부의 정보 전달을 보강하는 조합을 택한 셈이다.
GPU 수요는 줄어드는가, 아니면 다시 늘어나는가
강연자의 결론은 단순한 낙관이나 비관 어느 쪽도 아니다. 사용자 수와 서비스 사용량이 그대로라면 효율적인 모델은 필요한 GPU 수를 줄일 수 있다. 답변 하나에 필요한 계산량이 줄고, 사용자 한 명당 KV 캐시가 작아지고, GPU 한 장이 처리할 수 있는 요청 수가 늘어나면 같은 서비스를 더 적은 장비로 운영할 수 있기 때문이다. 이 점에서 Kimi K3는 기존 AI 인프라 투자 논리에 부담을 주는 사례다.
하지만 효율이 높아진다고 해서 총 GPU 수요가 반드시 줄어드는 것은 아니다. AI 사용 비용이 내려가면 기업들은 같은 일을 싸게 처리하는 데서 멈추지 않고, 이전에는 비용 때문에 시도하지 못했던 업무까지 AI에 맡기기 시작한다. 짧은 질문 하나 대신 코드 저장소 전체를 읽히고, AI 에이전트를 몇 시간씩 움직이며, 여러 에이전트가 동시에 서로 다른 일을 수행하게 만들 수 있다. 사용자 한 명당 GPU 사용량이 절반으로 줄어도 전체 사용량이 10배 늘면 GPU는 오히려 더 필요해진다.
따라서 Kimi K3가 보여주는 변화는 GPU가 사라진다는 신호가 아니라 GPU의 경제성을 평가하는 방식이 복잡해졌다는 신호에 가깝다. 순수 연산 성능만 보는 시대에서 HBM 용량, 메모리 대역폭, GPU 간 통신, KV 캐시 관리, 전문가 배치, 서빙 소프트웨어까지 함께 보는 시대로 넘어가고 있다. 시장이 앞으로 봐야 할 것은 “AI가 메모리를 조금 덜 쓰는가”가 아니라 “절약된 메모리로 AI가 얼마나 더 많은 일을 하게 되는가”다.
17:40 - GPU 평가 기준이 연산 성능에서 HBM, 대역폭, GPU 간 통신, KV 캐시 관리로 확장된다는 설명
Claude 출력 활용 의혹과 AI 경쟁의 비용 구조
기술적 논쟁과 별개로 Kimi K3에는 성능의 출처를 둘러싼 논쟁도 따라붙었다. 강연자에 따르면 Anthropic은 2026년 2월 23일 DeepSeek, Moonshot AI, MiniMax가 Claude의 능력을 추출하기 위한 산업적 규모의 캠페인을 벌였다고 주장했다. Anthropic은 이들이 약 24,000개의 부정 계정을 통해 Claude와 1,600만 회 이상 상호작용했으며, Moonshot AI에 대해서는 여러 경로의 수백 개 계정을 사용해 후반부에는 Claude의 추론 과정과 출력 양식을 더 표적화해 추출하려는 시도가 있었다고 설명했다고 한다.
18:09 - Anthropic이 제기한 Claude 대량 호출 의혹과 부정 계정 규모 설명
여기서 핵심은 Distillation(증류)이라는 기술 자체가 문제가 아니라는 점이다. 증류는 성능이 좋은 상위 모델이 만든 답변을 이용해 다른 모델을 훈련하는 방식으로, AI 업계에서 널리 쓰이는 방법이다. 예를 들어 강력한 모델에게 수학 문제 풀이, 코드 작성, 도구 사용 과정을 대량으로 생성하게 한 뒤, 그 입력과 출력을 새로운 모델의 학습 자료로 활용할 수 있다. 문제는 정상적인 사용 범위를 넘어 계정과 접근 제한을 우회해 경쟁사 모델을 비정상적으로 대량 호출했는가에 있다.
강연자는 이 의혹이 곧바로 “Kimi K3는 Claude로 만든 모델”이라는 결론으로 이어질 수는 없다고 선을 긋는다. 다른 모델의 출력을 많이 모은다고 해서 2조 8천억 파라미터 규모의 기반 모델이 저절로 만들어지는 것은 아니다. 대규모 사전학습에는 방대한 텍스트와 코드 데이터, 연산 인프라, 모델 설계, 학습 안정화 기술이 필요하다. 다만 후학습 단계에서는 최상위 모델의 고품질 답변과 문제 해결 과정이 모델 성능 개선에 직접적인 도움을 줄 수 있으므로, 만약 그런 데이터가 비정상적으로 확보되었다면 개발 시간과 비용을 줄였을 가능성은 충분히 논쟁거리가 된다.
미국 AI 인프라 투자의 회수 논리
미국 투자자들이 이 문제를 민감하게 받아들이는 이유는 단순한 기술 우위의 문제가 아니라 투자 회수 기간과 관련되어 있다. 미국 AI 기업과 클라우드 기업들은 최첨단 GPU, 데이터센터, 전력망, 냉각 설비에 막대한 자본을 투입하고 있다. 모델을 한 번 학습하는 비용뿐 아니라, 고품질 추론 데이터를 만들고, 강화학습과 평가를 반복하며, 에이전트가 실수하지 않도록 개선하는 과정에도 큰 비용이 들어간다. 이렇게 축적한 능력이 API를 통해 대량 수집되어 경쟁사의 후학습 시간을 줄이는 데 쓰였다면 선두 기업의 시간적 우위는 짧아질 수 있다.
그렇다고 중국 기업이 아무런 투자 없이 결과만 가져갔다고 보는 것도 지나친 단순화다. API로 얻을 수 있는 것은 모델의 출력이지 원본 가중치가 아니며, 그 답변을 학습하더라도 자체 기반 모델과 연산 인프라, 학습 기술은 여전히 필요하다. Kimi K3 같은 2조 8천억 파라미터 모델은 상당한 컴퓨팅 자원과 연구개발 투자 없이는 만들기 어렵다. 따라서 논쟁의 핵심은 “무에서 유를 만들었는가”가 아니라, 선두 모델의 출력이 후발 모델의 개발 비용과 시간을 얼마나 줄였는가에 있다.
시장 관점에서 더 직접적인 질문은 GPU가 필요한지 여부가 아니라, GPU에 막대한 돈을 쓴 기업이 높은 수익을 얼마나 오래 유지할 수 있는가다. 중국의 오픈 모델이 미국 최상위 모델에 가까운 능력을 더 낮은 가격으로 제공하기 시작하면 기업 고객은 업무별로 모델을 나누어 사용할 수 있다. 가장 어려운 추론과 보안이 중요한 작업은 폐쇄형 모델에 맡기고, 일반적인 코딩, 문서 처리, 반복 업무는 저렴한 오픈 모델로 돌리는 식이다. 이 경우 GPU 수요는 계속 존재하지만, 특정 선두 기업이 높은 API 가격과 기술 격차를 오래 유지할 수 있다는 가정은 약해진다.
DeepSeek와 Turbo Context 이후 반복되는 시장의 반응
강연자는 Kimi K3를 2025년 초 DeepSeek 논쟁과도 연결한다. DeepSeek V3와 R1은 MoE와 MLA를 활용해 계산량과 KV 캐시 부담을 낮췄고, 당시에도 미국의 AI 인프라 투자가 과도한 것 아니냐는 우려가 커졌다. NVIDIA를 비롯한 반도체 종목들이 흔들린 것도 이 같은 시장 반응의 연장선이었다. 효율적인 중국 모델이 등장할 때마다 투자자들은 “AI가 더 적은 GPU와 메모리로 가능해지는 것 아닌가”라는 질문을 반복한다.
25:17 - DeepSeek V3와 R1의 MoE·MLA 활용 사례와 시장의 메모리 수요 우려 설명
Google의 Turbo Context도 비슷한 반응을 만들었다고 강연자는 설명한다. Turbo Context는 모델 전체의 가중치를 없애는 기술이 아니라, 장문맥 추론에서 커지는 KV 캐시를 낮은 비트로 압축해 메모리 사용량과 데이터 이동 부담을 줄이는 기술로 소개된다. 그러나 시장은 이런 기술이 발표될 때마다 HBM과 DRAM 수요가 줄어드는 것 아니냐는 쪽으로 먼저 반응한다. Kimi K3 역시 같은 질문을 다시 끌어낸 사례다.
하지만 효율 개선과 전체 메모리 수요 감소를 곧바로 연결하는 것은 위험하다. 메모리 사용량이 줄어들면 기업들은 절감된 자원을 그대로 남겨두기보다 더 긴 문맥, 더 많은 동시 사용자, 더 큰 배치, 더 복잡한 에이전트 작업에 사용할 가능성이 크다. Turbo Context가 사용자 한 명당 KV 캐시를 줄이면 같은 HBM에 더 많은 사용자를 올릴 수 있고, KDA가 100만 토큰 비용을 낮추면 이전에는 너무 비싸서 시도하지 못했던 작업이 가능해진다. 결국 메모리 수요는 요청 한 번이 몇 GB를 덜 쓰느냐만으로 결정되지 않고, 사용자 수와 문맥 길이, 에이전트 실행 시간, 동시 처리량이 함께 결정한다.
앞으로 확인해야 할 숫자들
강연자는 Moonshot AI가 세부 기술 자료를 공개하면 벤치마크 순위보다 먼저 봐야 할 숫자들이 있다고 강조한다. 토큰마다 실제로 몇 개의 파라미터가 계산되는지, 모델 전체를 올리는 데 필요한 HBM은 얼마인지, 100만 토큰에서 첫 답변까지 얼마나 걸리는지가 중요하다. 896개 전문가를 여러 GPU에 나눴을 때 통신량이 얼마나 되는지, 특정 전문가에 토큰이 몰릴 때 성능이 얼마나 떨어지는지도 실제 서비스 비용을 좌우한다.
27:59 - Kimi K3 기술 보고서 공개 시 확인해야 할 실제 활성 파라미터, HBM 요구량, 100만 토큰 지연 시간 지표
또한 학습에 사용한 데이터와 연산량, 외부 모델 출력 활용 여부에 대한 설명도 중요한 검증 포인트다. Kimi K3의 성능이 독립적인 모델 설계와 학습 효율에서 나온 것인지, 아니면 외부 최상위 모델의 출력이 후학습 과정에서 어느 정도 기여했는지는 현재 공개된 자료만으로 단정하기 어렵다. 이 불확실성은 기술 평가뿐 아니라 투자 판단에도 영향을 준다. 모델의 성능이 빠르게 확산될수록, 선두 기업이 인프라 투자로 확보한 경제적 우위를 얼마나 오래 방어할 수 있는지가 더 중요한 문제가 되기 때문이다.
따라서 Kimi K3의 의미는 “GPU 시대가 끝났다”는 선언이 아니다. 오히려 GPU와 HBM, 네트워크, 서빙 소프트웨어를 얼마나 효율적으로 조합하느냐가 AI 경쟁력의 핵심으로 이동하고 있음을 보여준다. 더 적은 계산으로 더 큰 모델을 움직이고, 더 작은 KV 캐시로 더 긴 문맥을 처리하며, 같은 메모리 위에 더 많은 사용자를 올리는 능력이 앞으로의 비용 구조를 결정한다. AI 인프라 경쟁은 사라지는 것이 아니라 더 세밀하고 복잡한 최적화 경쟁으로 바뀌고 있다.
마무리 / 핵심 정리
Kimi K3는 GPU를 필요 없게 만드는 모델이라기보다, GPU와 HBM의 가치를 더 까다롭게 평가하게 만드는 모델이다. MoE는 매번 계산하는 파라미터 수를 줄이고, KDA는 장문맥에서 커지는 KV 캐시 부담을 낮추며, Attention Residuals는 깊은 모델 내부의 정보 흐름을 보완한다. 그러나 전체 2조 8천억 파라미터의 가중치를 저장하고, 896개 전문가를 여러 GPU에 배치하며, 토큰을 빠르게 이동시키는 인프라 부담은 여전히 남는다.
시장에 중요한 질문은 AI가 단위 작업당 메모리를 덜 쓰게 되었는가에서 멈추지 않는다. 더 중요한 것은 절약된 메모리와 연산이 더 긴 문맥, 더 많은 사용자, 더 복잡한 에이전트 작업으로 얼마나 빠르게 재투입되는가다. 효율이 올라가면 같은 일을 더 싸게 할 수 있지만, 동시에 이전에는 불가능했던 일을 새롭게 만들기도 한다. 그래서 Kimi K3가 던진 진짜 질문은 “GPU 수요가 사라지는가”가 아니라 “AI 인프라 투자가 어떤 성능과 수익으로 회수될 수 있는가”에 가깝다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | GPU 시대 끝?… 키미K3 | AI 효율 혁명의 진실 |
| 채널 | 안될공학 - IT 테크 신기술 |
| 리포트 작성 | 2026-07-22 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.
Related Reports
- NVIDIA Rubin 의 핵심은 LPU?? 그것보단 메모리 계층화 시스템 | MoE·KV 캐시로 보는 AI 병목의 정체
- NVIDIA, ICMS가 뭐길래… NAND 가격까지 폭등해버린 진짜 이유 | HBF 조기 상용화? KV 캐시, 대용량 Storage, DPU, BlueField 4
- 일론 머스크가 움직입니다… SpaceX-Anthropic 협력은 AI 인프라 경쟁 시작 | Colossus 300GW | Claude limit도 확 늘어나다
- 천재 개발자의 경고 메모리 1만배 필요합니다 (엑시나 김진영 대표) (1부)
- 머스크가 한국서 인재 빼가는 이유 (엑시나 김진영 대표) (2부)