천재 개발자의 경고 메모리 1만배 필요합니다 (엑시나 김진영 대표) (1부)

천재 개발자의 경고 메모리 1만배 필요합니다

📺 원본 영상: 천재 개발자의 경고 메모리 1만배 필요합니다 (엑시나 김진영 대표) (1부)
🎙️ 채널: 언더스탠딩 : 세상의 모든 지식
🎙️ 출연자: 엑시나 김진영 대표
📅 정리 일자: 2026-09-20
⚠️ Note: 본 리포트는 영상 음성의 STT 텍스트를 바탕으로 작성된 문서다. 이번 검수에는 원본 음성·STT 전문과 스크린샷 이미지가 제공되지 않아, 문맥과 문서 내부의 수치 관계를 중심으로 확인했다. 스크린샷 목록에는 로컬 경로만 있고 webUrl이 없어 이미지를 삽입하지 않았다. 화면에 표시된 차트, 제품 사진, 슬라이드의 세부 정보는 포함되지 않을 수 있다. 제품 성능과 시장 전망은 별도 검증된 사실이 아니라 강연자의 설명으로 구분했으며, 촬영일이 확인되지 않아 ‘올해’와 ‘내년’은 특정 연도로 환산하지 않았다.

---

개요

AI 인프라를 이해하려면 GPU의 계산 능력뿐 아니라, 계산에 필요한 데이터를 어디에 저장하고 어떻게 가져오는지도 살펴봐야 한다. 김진영 대표는 모델과 사용자, 입력 문맥과 에이전트가 함께 늘어나는 환경에서 메모리가 핵심 병목으로 떠오르고 있으며, 이를 해결하려면 메모리 용량 확대와 공유, 데이터 이동 감소를 함께 추진해야 한다고 설명한다. 이 강연은 CXL을 통한 메모리 확장에서 출발해, 데이터가 있는 곳에서 일부 연산을 수행하는 구조가 AI 인프라의 비용과 설계를 어떻게 바꿀 수 있는지 다룬다.

---

데이터를 쌓는 시대에서 데이터를 계속 활용하는 시대로

김 대표는 삼성전자에서 메모리 솔루션과 기업용 SSD 개발을 경험한 뒤, SK하이닉스에서 차세대 아키텍처를 담당하며 CXL의 가능성에 주목했다고 자신의 경력을 소개한다. 그에게 SSD는 새로운 메모리 기술이 컴퓨터의 구성을 크게 바꿀 수 있다는 사실을 보여준 사례였다. 강연 초반의 SSD 보급 이야기는 정확한 시장 침투율을 제시하기보다, 새로운 저장 기술이 빠르게 일상적인 인프라가 되었던 경험을 전달하는 데 초점이 있다. 그는 CXL에서도 이와 같은 구조적 변화의 기회를 발견했고, 이를 창업의 계기로 설명한다.

이러한 판단의 배경에는 데이터의 경제적 역할이 달라지고 있다는 인식이 있다. 김 대표에 따르면 과거 빅데이터 시대에는 데이터를 대규모로 수집하더라도 그것을 어떻게 수익으로 연결할지가 분명하지 않았는데, AI는 축적된 데이터에서 활용 가능한 가치를 찾아내는 도구로 등장했다. 데이터의 활용 가능성이 커지면 기업은 더 많은 데이터를 보관하고 더 자주 분석하려 하며, AI가 생성한 결과물도 다시 처리 대상이 된다. 따라서 연산 장치에 대한 투자와 함께 데이터를 보관하고 처리 과정에 공급하는 인프라의 중요성도 높아진다는 것이 그의 논리다.

다만 강연에서 사용하는 ‘메모리’는 문맥에 따라 DRAM과 HBM을 가리키기도 하고, SSD까지 포함한 데이터 보관 계층을 넓게 지칭하기도 한다. 이 차이를 구분하지 않으면 모든 데이터가 항상 DRAM에 올라가 있어야 한다는 뜻으로 오해하기 쉽다. 실제로 김 대표가 이후 제시하는 해법은 데이터를 여러 계층에 나누어 배치하고, 필요에 따라 접근하거나 이동시키는 방식이다. 그의 주장은 모든 데이터를 가장 비싼 메모리에 담자는 것이 아니라, 데이터의 역할에 맞게 전체 저장·메모리 구조를 다시 설계하자는 방향으로 이어진다.

‘메모리 1만 배’라는 표현의 근거와 해석 범위

강연에서 김 대표는 메모리 수요를 키우는 요인으로 모델 규모, 사용자 수, 입력 문맥의 길이, 에이전트 수를 제시한다. 모델이 커지면 서비스에 필요한 자원이 늘어나고, 사용자가 많아지면 동시에 처리해야 하는 요청도 증가한다. 여기에 책 한 권이나 프로젝트의 소스코드 전체를 입력하는 사용 방식이 보편화되면 요청 하나가 다루는 데이터도 커진다. 여러 모델이나 에이전트를 동원해 답을 만드는 과정은 이 위에 추가적인 처리와 중간 결과를 쌓는다.

07:58 - 모델 규모, 사용자 수, 컨텍스트 길이, 에이전트 수가 함께 증가하는 효과를 설명하는 구간. 관련 도표의 실제 구성 확인에 적합하다.

김 대표가 강조하는 부분은 이러한 요인이 동시에 커질 수 있다는 점이다. 그는 네 가지 요인이 각각 10배씩 증가하는 상황을 가정하면, 전체 데이터 규모가 1만 배로 커질 수 있다고 설명한다. 이때의 1만 배는 관측된 시장 수요나 특정 연도까지의 확정 전망이 아니라, 여러 증가 요인이 곱셈으로 작용하는 상황을 보여주는 예시다. 따라서 영상 제목을 해석할 때도 증가가 확정된 수치와 증가 가능성을 설명하는 사고 실험을 구분해야 한다.

강연에서 제시한 요인	김 대표가 설명한 변화	메모리 수요와의 연결
모델 규모	더 큰 모델을 활용	모델을 운용하는 데 필요한 자원 증가
사용자 수	AI 서비스 이용자 증가	동시에 처리하고 유지해야 하는 작업 증가
컨텍스트 길이	문서와 코드 전체를 입력	요청별로 다루는 데이터와 중간 상태 증가
에이전트 수	여러 모델과 작업 단계 활용	처리 과정과 중간 결과의 확대
조건부 계산	각 요인이 10배씩 증가	네 요인을 곱하면 1만 배라는 예시

이 계산을 실제 메모리 소요량의 보편적인 산식으로 받아들이는 것은 강연의 근거를 넘어선다. 제공된 설명에는 요인 사이의 중복, 작업 간 공유, 최적화 효과 등을 반영한 정량 모델이 제시되지 않는다. 그럼에도 이 예시가 전달하는 핵심은 분명하다. AI 수요가 여러 방향에서 동시에 확대되는 상황에서는 한 가지 효율화 기술의 개선만으로 전체 인프라 부담이 줄어든다고 단정하기 어렵다는 것이다.

💡 [영상 참조] 약 06:29부터 김 대표는 그림을 보며 모델, 사용자, 컨텍스트, 에이전트 증가를 설명한다. 도표의 실제 수치와 축은 STT에서 확인되지 않으므로, 세부 내용은 원본 영상을 참조해야 한다.

KV 캐시가 보여주는 연산과 메모리의 맞교환

김 대표는 AI 추론 서비스의 메모리 부담을 설명하면서 KV Cache(KV 캐시)를 핵심 사례로 든다. STT에서 반복되는 ‘KB 캐시’는 이 용어의 오인식으로 해석된다. 강연에서 설명하는 원리는 이미 계산한 정보를 저장해 두고 다음 계산에 활용함으로써, 같은 일을 반복하는 비용을 줄이는 것이다. 비싼 GPU 연산을 절약하는 대신, 그 결과를 유지할 메모리 공간이 필요해지는 구조다.

이 관점에서는 효율화와 메모리 수요 증가가 동시에 일어날 수 있다. 계산을 다시 하지 않아도 되도록 중간 정보를 보관하면 응답 과정이 효율적이 되지만, 더 많은 요청과 더 긴 문맥을 처리할수록 보관해야 할 정보도 늘어날 수 있기 때문이다. 김 대표는 이를 통해 AI 추론 규모가 커질수록 메모리가 중요해지는 이유를 설명한다. 메모리는 연산을 위한 보조 공간이면서, 이미 투입한 연산 비용을 다시 지출하지 않도록 하는 자원이기도 하다는 것이다.

다만 강연의 대화 기록 비유를 그대로 서비스 구현의 설명으로 받아들여서는 안 된다. 한 달 전 대화를 다시 확인할 수 있다는 사실만으로, 그 내용이 한 달 내내 KV 캐시 형태로 유지되었다고 판단할 수는 없다. 제공된 STT에는 특정 AI 서비스의 기록 저장 방식이나 캐시 유지 기간에 관한 근거가 없다. 마찬가지로 ‘토큰을 덜 쓰기 위한 기술’이라는 설명도 사용자에게 청구되는 토큰 수가 반드시 줄어든다는 뜻으로 확장하기보다, 반복 계산을 줄이는 취지로 읽는 것이 적절하다.

전원이 꺼지면 DRAM의 내용이 사라진다는 질문에 대해 김 대표는 스토리지 백업 등 다양한 구성이 가능하다고 답한다. 이는 필요한 정보를 모두 하나의 메모리 계층에 영구 보관해야 하는 것은 아니라는 설명으로 이어진다. 어떤 정보를 얼마나 오래 유지하고, 어느 계층에 둘 것인지는 이후 소개되는 메모리 계층화의 문제와 연결된다. 결국 중요한 것은 가능한 모든 정보를 무조건 쌓는 일이 아니라, 저장과 재계산 사이의 비용을 조절하는 설계다.

HBM이 중요할수록 다른 메모리 계층도 필요해지는 이유

HBM은 High Bandwidth Memory(고대역폭 메모리)의 약자로, 김 대표는 GPU와 메모리 사이에서 많은 데이터를 오갈 수 있도록 만드는 기술이라고 설명한다. 여기서 핵심은 단순히 메모리가 가깝다는 사실뿐 아니라, 데이터를 공급하는 통로의 폭이 크다는 데 있다. 그는 최근 GPU의 발전에서 HBM의 대역폭과 용량 확대가 매우 중요한 역할을 했다고 평가한다. 다만 이 평가가 HBM만으로 모든 메모리 문제를 해결할 수 있다는 뜻은 아니다.

김 대표가 지적하는 제약은 GPU와 같은 패키지 안에 배치되는 메모리의 물리적 조건이다. 공간이 제한되어 있고, 적층을 늘리는 과정에서는 전력과 발열, 제조 수율 등의 문제가 함께 커질 수 있다고 설명한다. 따라서 HBM 용량을 계속 확대하는 일은 단순히 메모리 칩을 더 붙이는 문제로 끝나지 않는다. 성능상 중요성이 높은 자원이지만, 그만큼 용량 확대의 비용과 제약도 크다는 것이다.

이 때문에 김 대표는 HBM에 어떤 데이터를 둘 것인지가 중요하다고 강조한다. 그의 설명에서 문제는 KV 캐시를 HBM에 두는 행위 자체보다, 방대한 캐시를 모두 HBM으로 감당하려 할 때 발생하는 용량과 비용 부담에 있다. 필요한 메모리를 확보하기 위해 GPU 서버까지 추가로 구매해야 한다면, 연산 수요와 메모리 수요가 서로 다른 속도로 커지는 상황에 비효율적으로 대응하게 된다. 외부 메모리 확장은 이러한 결합을 느슨하게 만들려는 시도로 이해할 수 있다.

강연은 이 지점에서 Multi-tier Memory(다계층 메모리)로 논의를 확장한다. 자주 사용하고 빠르게 접근해야 하는 데이터는 가까운 계층에 두고, 덜 자주 사용하는 데이터는 다른 DRAM이나 SSD로 내려보내는 방식이다. 김 대표는 이를 Hot/Cold Tiering(사용 빈도에 따른 계층화)으로 설명하며, AI 인프라의 수요가 HBM뿐 아니라 일반 DRAM과 스토리지로도 이어질 수 있다고 본다. 다만 STT에 등장하는 특정 기업의 주가 상승 배수나 실적 비교는 기준과 기간이 불분명하므로, 이러한 구조적 설명의 정량 근거로 사용하지 않는다.

네트워크로 데이터를 주고받을 때 발생하는 비용

메모리를 여러 곳에 배치하면 다음 문제는 필요한 데이터를 어떻게 가져올 것인가이다. 김 대표는 기존 네트워크 기반 확장을 설명하면서, 한 서버가 가진 데이터를 다른 서버가 사용하기 위해 복사본을 전달하는 상황을 예로 든다. 이 과정에서는 데이터를 전송하는 시간이 필요하고, 여러 서버에 같은 데이터가 중복해서 존재할 수 있다. 데이터가 커질수록 이동과 중복 저장에 들어가는 부담도 커진다는 것이 그의 지적이다.

그가 강조하는 병목은 연산 장치가 데이터를 기다리는 시간까지 포함한다. GPU가 계산할 능력을 갖추고 있어도 필요한 정보를 제때 받지 못하면, 비싼 자원을 충분히 활용하기 어렵다. 같은 데이터를 여러 서버가 요구하는 경우에는 복사본 관리가 추가적인 메모리 사용으로 이어질 수도 있다. 강연은 이 문제를 통해 메모리 부족을 단순한 용량 부족보다 넓은 인프라 문제로 다룬다.

다만 영상의 설명은 복사 기반 처리의 부담을 이해시키기 위한 개념적 비교다. 이를 모든 네트워크 시스템이 항상 동일한 방식으로 전체 데이터를 복제한다는 보편 명제로 확대해서는 안 된다. 이 강연에서 확인할 수 있는 주장은, 김 대표가 상정하는 작업에서 서버 간 복사와 이동이 큰 비용이 되고 있으며 이를 줄일 다른 접근이 필요하다는 것이다. CXL은 바로 이 문제에 대한 연결·메모리 구성 방식으로 소개된다.

24:30 - 네트워크 기반 복사 방식과 CXL 공유 메모리 접근 방식을 비교하는 설명 중간 구간. 화면에 제시된 비교 자료를 확인할 시점이다.

CXL이 바꾸려는 것은 메모리의 연결과 배분 방식이다

CXL은 Compute Express Link의 약자로, 김 대표는 CPU와 각종 장치 등을 연결하는 표준이라고 소개한다. 강연에서 강조하는 가치는 메모리를 더 많이 연결하는 확장성과, 연결된 메모리를 더 유연하게 활용하는 능력이다. 서버마다 메모리를 고정적으로 보유하는 구조에서 벗어나, 필요에 따라 외부 메모리 자원을 활용할 수 있도록 하자는 것이다. 이를 설명하기 위해 대화에서는 ‘공유 오피스’와 ‘공용 도마’라는 비유가 반복된다.

여기에는 서로 연결되지만 구분할 필요가 있는 두 가지 효과가 담겨 있다. 하나는 공통의 메모리 자원을 여러 서버의 수요에 맞춰 배분해 유휴 용량을 줄이는 것이고, 다른 하나는 여러 서버가 같은 데이터에 접근하도록 해 중복 복사 부담을 줄이는 것이다. 전자는 메모리의 할당과 이용률에 관한 문제이며, 후자는 데이터 접근과 공유에 관한 문제다. 강연은 두 효과를 모두 CXL 기반 인프라의 가치로 설명한다.

‘복사가 필요 없다’는 표현 역시 이 맥락에서 읽어야 한다. 김 대표가 제시하는 핵심은 같은 데이터를 사용하기 위해 각 서버에 별도의 복사본을 미리 준비하는 부담을 줄일 수 있다는 데 있다. 데이터를 읽는 통신까지 사라지거나 외부 메모리가 HBM과 같은 성능을 갖게 된다는 의미는 아니다. 제공된 STT에는 그러한 동일 성능을 뒷받침하는 지연시간이나 대역폭 측정값이 제시되지 않는다.

공유에는 연결 이상의 관리 기술도 필요하다. 김 대표는 데이터가 변경되었을 때 관련 캐시 사이의 일관성을 유지하는 Cache Coherence(캐시 일관성), 접근 권한, 보안, 소프트웨어와 하드웨어의 협력이 중요하다고 설명한다. 다만 강연만으로 CXL의 모든 버전과 모든 제품이 동일한 공유 기능을 제공한다고 판단할 수는 없다. 실제 도입에서는 지원 규격과 장치 구성에 따라 어떤 확장·공유 기능을 사용할 수 있는지 별도로 확인해야 하며, 영상의 비유는 그 구현 조건을 모두 설명한 것은 아니다.

메모리 이용률 35%라는 예시가 드러내는 중복 여유분

김 대표는 메모리 공유의 경제적 의미를 설명하기 위해 클라우드의 Overprovisioning(과잉 확보)을 사례로 든다. 클라우드 사업자는 고객이 얼마나 많은 메모리를 요구할지 정확히 알기 어렵기 때문에 서버에 여유 용량을 마련한다. 고객 역시 자신의 애플리케이션이 순간적으로 얼마나 많은 메모리를 쓸지 확신하기 어려워 필요량보다 넉넉하게 자원을 빌릴 수 있다. 공급자와 사용자 양쪽에서 안전 여유분을 확보하면서, 실제 활용되는 비율이 낮아진다는 설명이다.

강연에서는 서버에 설치된 메모리 가운데 고객이 빌리는 비율을 70%, 그중 실제로 사용하는 비율을 절반으로 제시한다. 이 두 값을 곱하면 전체 설치 용량 대비 활성 사용 비율은 35%가 된다. 김 대표는 조사 결과를 언급하지만, 제공된 STT에서는 조사명과 표본, 측정 조건을 확인할 수 없다. 따라서 이 수치는 모든 클라우드 환경의 보편적인 평균으로 확정하기보다, 이중 여유분이 만들어내는 비효율을 설명하는 강연상의 사례로 이해해야 한다.

30:26 - 메모리 임대 비율과 실제 사용 비율을 연결해 전체 활성 사용률 35%를 설명하는 구간. 수치 관련 화면 자료 확인에 적합하다.

항목	강연에서 언급한 수치	해석 시 유의점
설치 용량 중 고객이 임대한 비율	약 70%	조사 대상과 환경은 STT에서 확인되지 않음
임대한 용량 중 실제 사용 비율	약 50%	사용 여부와 성능 여유분은 구분해서 볼 필요가 있음
전체 설치 용량 대비 활성 사용 비율	약 35%	70%와 50%를 곱한 강연상의 단순 계산
공유 구조에서 제시한 이용률	70~80% 이상	김 대표가 제시한 개선 가능 범위
메모리 투자 절감에 관한 설명	약 절반 수준	같은 수요를 더 높은 이용률로 처리한다는 전제

김 대표는 메모리를 공유하면 서버별 수요에 맞춰 배분을 조절할 수 있어 이용률을 높일 수 있다고 설명한다. 특정 서버에 고정되어 있던 여유분을 다른 서버가 활용할 수 있다면, 같은 업무를 처리하는 데 필요한 총용량을 줄일 여지가 생긴다. 다만 이용률 상승이 전체 데이터센터 비용의 같은 비율 감소로 이어지는 것은 아니다. 이 강연에서 ‘절반’이라는 표현은 우선 메모리 관점의 설명이며, 연결 장치와 운영 비용까지 포함한 전체 비용 산정은 제시되지 않는다.

서버 교체와 메모리 교체를 분리할 가능성

김 대표는 메모리의 사용 수명이 다른 시스템 구성요소보다 길 수 있다는 점에도 주목한다. 대규모 사업자가 서버를 교체할 때 기존 DRAM도 함께 퇴역할 수 있지만, 그것이 곧 메모리 자체를 더 이상 사용할 수 없다는 뜻은 아니라는 설명이다. 그는 기존 메모리를 CXL 기반 장치에서 다시 활용하는 방식을 또 다른 시장 기회로 소개한다. 이는 메모리를 특정 세대의 서버에 종속된 부품으로만 보지 않는 접근이다.

이 구상이 가능하려면 기존 메모리를 연결하고 운용할 수 있는 장치가 필요하다. 김 대표도 오래된 DRAM을 새 시스템에 그대로 꽂는 데에는 지원과 성능상의 문제가 있을 수 있다고 설명한다. CXL을 이용한 재활용은 이러한 차이를 처리하는 중간 장치와 구성을 전제로 한다. 따라서 어떤 종류의 퇴역 메모리라도 조건 없이 재사용할 수 있다는 의미로 해석해서는 안 된다.

강연에서는 관련 활용 규모를 수백만 대 이상으로 언급하지만, 현재 사용량과 향후 예상량이 문장 안에서 섞여 있다. 이 수치를 확정적인 배치 실적으로 정리하기에는 근거가 부족하다. 다만 메모리 교체 주기를 서버 교체 주기와 분리하려는 방향성은 분명하게 드러난다. 메모리 가격과 수급 부담이 클수록, 이미 보유한 자원을 더 오래 활용하는 설계의 경제적 의미도 커질 수 있다는 것이 김 대표의 관점이다.

데이터 중력에서 데이터 근처 연산으로

강연 후반부의 중심 개념은 Data Gravity(데이터 중력)다. 김 대표는 여러 클라우드에 걸쳐 서비스를 구성할 때 데이터가 커지면 복사 비용도 증가하므로, 서비스가 데이터 가까이 모이려는 방향으로 설계가 바뀔 수 있다고 설명한다. STT의 ‘데이터를 한국에 다 모아놓고’라는 표현은 문맥상 ‘데이터를 한곳에 다 모아놓고’의 오인식으로 추정된다. 다만 원본 음성을 대조하지 못했으므로 확정 교정은 아니다. 이 문맥의 핵심은 데이터가 모여 있는 위치다.

김 대표는 이 논리를 컴퓨터 내부로 확장한다. 기존에는 CPU나 GPU가 중심이고 데이터가 그곳으로 이동한다고 생각했지만, 데이터가 충분히 커지면 이동 자체의 비용이 크게 느껴진다는 것이다. 특히 전체 데이터 가운데 일부만 필요한 작업에서 모든 데이터를 연산 장치로 옮기는 방식이 효율적인지 질문한다. 그는 이 관점 전환을 데이터가 있는 곳으로 연산을 가져가는 접근으로 연결한다.

39:36 - 왼쪽과 오른쪽 그림을 비교하며 데이터 근처에서 필터링한 뒤 필요한 데이터만 전송하는 방식을 설명하는 구간.

이를 제품 차원에서 설명하는 용어가 Near-data Processing(데이터 근처 연산)이다. 메모리를 확장하는 것만으로는 데이터가 늘어난 뒤의 처리 부담이 그대로 남지만, 메모리 가까이에서 일부 처리를 수행하면 CPU나 GPU로 보내는 양을 줄일 수 있다는 설명이다. 김 대표가 강조하는 작업은 복잡한 범용 연산 전체가 아니라, 필터링과 비교처럼 대량의 데이터를 대상으로 반복하는 상대적으로 단순한 처리다. 그렇게 걸러낸 결과를 상위 연산 장치에 전달하면, CPU와 GPU가 더 중요한 작업에 집중할 수 있다는 구상이다.

간단한 필터링을 어디서 수행하느냐가 중요한 이유

김 대표는 신용카드 거래 데이터를 분석하는 상황을 예로 든다. 소비가 많은 고객 중 특정 지역과 시간대에 해당하는 거래를 찾는다면, 전체 거래를 연산 장치로 옮긴 뒤 조건을 적용하는 방식과 데이터 근처에서 먼저 걸러내는 방식을 비교할 수 있다. 후자의 경우 조건에 맞는 데이터만 전달하므로, 이동해야 하는 양을 줄이는 효과를 기대할 수 있다는 설명이다. STT에서는 상위 고객 비중이 20%와 10%로 다르게 언급되므로, 여기서는 특정 비율을 확정하지 않는다.

이 예시에서 핵심은 조건을 확인하는 작업의 단순함과 전체 데이터의 크기 사이에 있다. 비교 연산 자체는 간단하더라도 대상 데이터가 방대하면 읽고 옮기는 과정이 큰 부담이 될 수 있다. 김 대표는 이런 일을 비싼 연산 장치가 맡기보다, 메모리 가까이에 많은 소형 연산 자원을 두고 처리하는 편이 효율적이라고 본다. 강연의 ‘연산 장치가 99% 논다’는 표현은 특정 측정 조건이 제시되지 않았으므로, 실제 벤치마크 수치보다 비효율을 강조하는 설명으로 읽는 것이 적절하다.

이로부터 도출되는 중요한 조건은, 미리 처리한 뒤 전달할 데이터가 얼마나 줄어드는가이다. 강연의 논리를 따라가면 많은 데이터를 읽되 결과는 작게 남는 작업일수록 이 접근의 이점이 커질 가능성이 있다. 반대로 이러한 특성이 약한 작업까지 같은 효과를 얻는지는 영상에서 확인되지 않는다. 데이터 근처 연산을 평가하려면 연산기의 개수뿐 아니라, 대상 작업이 어떤 데이터를 얼마나 줄여서 내보내는지 함께 살펴봐야 한다.

💡 [영상 참조] 약 39:12부터 김 대표는 왼쪽과 오른쪽 그림을 비교하며 단순 CXL 확장과 데이터 근처 연산의 차이를 설명한다. 음성에서 확인되는 차이는 전체 데이터를 이동한 뒤 처리하는 방식과, 먼저 필터링한 결과를 보내는 방식이며, 상세 배선과 장치 구성은 원본 영상을 참조해야 한다.

엑시나의 제품 구상은 확장 메모리에 연산을 결합한다

김 대표가 소개하는 제품은 CXL을 통해 메모리를 확장하면서 그 가까이에 연산 기능을 결합한 형태다. 그는 화면의 중앙에 자사 칩이 있고 주변에 DRAM을 장착한다고 설명하며, 총 8개까지 장착할 수 있다고 말한다. 다만 이 ‘8개’가 가리키는 구체적인 부품 단위는 제공된 문서만으로 확정하기 어렵다. 또한 카드 하나당 최대 2TB의 메모리를 구성할 수 있다고 소개한다. 이는 강연자가 밝힌 제품 사양이며, 제공된 STT만으로 메모리 규격과 모든 구성 조건까지 확인할 수는 없다.

44:32 - 제품 형상을 가리키며 중앙 칩과 DRAM 장착 구성을 설명하고, 총 8개까지 장착할 수 있다고 언급하는 구간.

연산 기능에 대해서는 자체 설계한 소형 RISC-V 코어가 수천 개 들어간다고 설명한다. STT의 ‘리스크5’는 문맥상 RISC-V를 가리킨다. 김 대표는 고성능 코어 소수보다 간단한 일을 병렬로 처리할 수 있는 다수의 코어가 메모리 가까운 위치에서 유리하다는 설계 철학을 제시한다. 이 제품의 차별점을 이해할 때에는 ‘메모리를 많이 연결한다’는 기능과 ‘연결된 데이터 일부를 현장에서 처리한다’는 기능을 함께 보아야 한다.

45:22 - 카드당 메모리 용량과 수천 개의 소형 RISC-V 코어를 통한 메모리 근처 연산을 설명하는 구간.

그는 칩이 이미 나왔으며 CPU·GPU 업체 및 일부 대규모 클라우드 사업자와 검증하고 있다고 설명한다. 다만 협력사 이름을 공개하지 않았으므로, 진행자가 예로 든 특정 회사를 실제 협력사로 확정해서는 안 된다. 제조 관련 STT 표현도 불명확해 파운드리와 공정 세부사항을 임의로 복원하기 어렵다. 제품 존재와 검증 진행에 관한 발언은 소개할 수 있지만, 이것만으로 대규모 상용 배치와 성능 검증이 완료되었다고 판단할 수는 없다.

SSD를 메모리처럼 보여준다는 ‘인피니트 메모리’

엑시나가 또 하나의 차별점으로 제시하는 것은 SSD 용량을 CPU나 GPU에 메모리처럼 보이게 하는 기능이다. 김 대표는 이를 Infinite Memory(인피니트 메모리)라고 부른다. 그의 설명에 따르면 자주 필요한 데이터는 DRAM에서 처리하고, 더 큰 데이터 집합은 SSD까지 활용하면서 하드웨어와 소프트웨어가 함께 관리한다. 대규모 KV 캐시를 운용할 수 있는 공간을 넓히려는 구상이다.

46:35 - SSD 용량을 CPU에 메모리처럼 보여주는 인피니트 메모리 기능의 동작 개념을 설명하는 중간 구간.

여기서 ‘메모리처럼 보인다’는 표현과 ‘메모리와 성능이 같다’는 표현은 구분해야 한다. 김 대표도 앞선 설명에서 스토리지를 더 느린 계층으로 소개했으며, SSD를 붙인 뒤 모든 접근이 DRAM과 같은 속도로 이루어진다고 주장하지는 않는다. 제공된 STT에는 계층별 접근 지연, 캐시 적중률, 데이터 이동 정책에 관한 구체적인 측정값이 없다. 따라서 확인할 수 있는 가치는 더 큰 용량을 활용하고 관리 부담을 덜겠다는 설계 방향이다.

이 기술이 실제 서비스에서 얼마나 유리한지는 데이터의 접근 패턴과 연결된다. 강연이 제시하는 ‘자주 쓰는 데이터’와 ‘드물게 쓰는 데이터’의 구분이 잘 작동한다면, 큰 용량을 확보하면서 빠른 계층의 부담을 줄이는 구성을 기대할 수 있다. 그러나 어떤 조건에서도 큰 용량과 높은 응답 성능을 동시에 보장한다는 결론은 이 자료만으로 내릴 수 없다. ‘인피니트’라는 명칭 역시 물리적으로 무한한 메모리를 뜻하기보다, 기존 DRAM 중심 구성의 용량 제약을 넓히려는 제품 개념으로 이해해야 한다.

서버 10대를 1대로 줄인다는 목표의 조건

김 대표는 메모리 공유, SSD 활용, 데이터 근처 연산을 결합해 기존 서버 10대가 하던 일을 1대로 수행하는 것을 목표로 제시한다. 메모리 이용률을 높이는 데서 끝나지 않고, 대량의 단순 처리를 장치 내부로 옮겨 필요한 CPU·GPU 서버의 수까지 줄이겠다는 구상이다. 그러나 강연 후반부에서 그는 이를 명확히 목표라고 표현한다. 어떤 응용에서는 2~3배의 효과가 있을 수 있고, 10배가 가능한 응용도 있을 것으로 본다는 설명이다.

이 차이는 제품의 잠재력과 검증된 성능을 구분하는 데 중요하다. 진행자가 현재 절반 정도를 줄일 수 있는지 묻는 대목에서도 김 대표는 응용별 차이를 언급하며 대규모 응용에 적용해 확인해야 한다고 답한다. 따라서 ‘현재 모든 서비스에서 서버 수를 절반으로 줄인다’거나 ‘이미 10배 효율을 달성했다’고 정리하면 발언보다 강한 주장이 된다. 영상이 제공하는 근거는 기술적 가능성과 목표, 그리고 추가 배치 검증이 필요하다는 설명까지다.

구분	강연에서 제시한 내용	판단 가능한 범위
메모리 활용 효율	35%에서 70~80% 이상으로 개선 가능	이용률 개선에 관한 강연자의 설명
제품 메모리 용량	카드당 최대 2TB	구성 조건 확인이 필요한 제시 사양
연산 자원	소형 RISC-V 코어 수천 개	코어 수만으로 전체 성능을 판단할 수 없음
전체 인프라 효율	응용에 따라 2~3배 또는 10배 가능성	일률적인 실측 결과가 아닌 기대와 목표
최종 목표	기존 서버 10대의 일을 1대로 처리	대규모 응용에서 추가 검증이 필요한 방향

강연의 논리를 평가 기준으로 옮기면, 메모리와 서버를 얼마나 줄였는지만으로는 충분하지 않다. 같은 작업을 같은 품질과 응답 조건으로 처리했는지, 추가 장치와 소프트웨어 운영 부담까지 반영했는지를 함께 확인해야 한다. 또한 절감 효과가 큰 작업의 비중에 따라 전체 시스템에서 얻는 이익도 달라질 수 있다. 이러한 항목은 영상에서 수치로 답한 내용이 아니라, 김 대표가 제시한 효율화 주장을 검증하기 위해 필요한 후속 질문이다.

경쟁사와의 차이는 코어 수 이상의 문제다

김 대표는 CXL 기반 메모리 확장 분야의 회사로 Marvell(마벨)과 Astera Labs(아스테라 랩스)를 언급한다. 자신의 회사는 더 넓은 제품군을 다루는 기업들과 비교해 메모리 솔루션에 집중하고 있으며, 데이터 근처 연산과 SSD 확장을 차별점으로 삼는다고 설명한다. 마벨에 대해서는 일부 연산 기능을 제공하는 유사한 경쟁자로 소개한다. 이 비교는 강연자가 바라보는 경쟁 구도이며, 시장 전체를 독립적으로 조사한 결과는 아니다.

그는 공개된 정보 기준으로 경쟁 제품이 16개의 Arm 코어를 사용한다고 말하며, 자사의 수천 개 소형 코어와 대비한다. 다만 이 숫자를 나누어 성능 차이로 해석할 수는 없다. 강연 자체에서도 두 종류의 코어가 수행할 수 있는 일의 수준이 다르다는 점을 인정하며, 김 대표의 주장은 단순 작업을 많이 병렬 처리하는 방식이 메모리 근처에서 유리하다는 데 있다. 제품별 처리 성능을 결론 내리려면 동일 작업과 조건에서의 비교가 필요하지만, 그러한 자료는 STT에 포함되어 있지 않다.

‘전 세계에서 자사만 제공한다’는 SSD 확장 관련 발언도 동일한 기준으로 읽어야 한다. 이 리포트에서는 해당 기능을 회사가 주장하는 차별화 요소로 정리하되, 독점성이나 경쟁 우위를 외부 검증된 사실로 확정하지 않는다. 기술을 소개하는 창업자의 설명과 구매자가 확인해야 할 경쟁력의 근거는 서로 다른 층위다. 영상의 가치는 설계 의도와 문제 정의를 이해하는 데 있으며, 제품 선정에는 추가적인 사양과 실측 비교가 필요하다.

소프트웨어와 광통신은 CXL과 어떻게 만나는가

김 대표는 메모리를 효율적으로 사용하려는 소프트웨어 기술과 광통신 기술도 같은 방향을 추구한다고 설명한다. 소프트웨어는 유연성이 강점이지만, 특정 처리를 하드웨어와 함께 설계하면 성능과 효율을 높일 여지가 있다는 것이 그의 입장이다. 엑시나 역시 수천 개의 코어를 활용하기 위해 소프트웨어가 필요하므로, 하드웨어만으로 문제를 해결한다는 접근은 아니다. 그는 하드웨어와 소프트웨어를 함께 설계하는 방식을 자사의 중요한 강점으로 제시한다.

광통신에 대해서는 더 먼 거리의 자원에 높은 대역폭으로 접근하게 해주는 기술이라는 관점을 제시한다. 이 설명에서 광통신과 CXL은 서로 완전히 대체하는 관계로 놓이지 않는다. 김 대표는 광통신을 거친 뒤에 자사 기술이 연결될 수도 있다고 말하며, 연결 범위가 넓어지는 것이 자사에도 기회가 될 수 있다고 본다. 다만 구현과 보급에 시간이 더 필요하다는 평가는 강연 당시 그의 판단으로 남겨두어야 한다.

상용화 시점에 관한 발언도 촬영 당시의 맥락에서 이해해야 한다. 그는 CXL 표준이 2019년에 등장했고 초기 지원 제품은 2023~2024년 무렵부터 나왔다고 설명하면서, CXL 3.0 기반 제품 확대를 ‘올해 말’과 ‘내년 초’로 전망한다. 제공된 자료에는 촬영일이 확인되지 않으므로 이를 리포트 작성일 기준 일정으로 바꾸지 않는다. 또한 ‘꽂으면 동작한다’는 설명을 일반 PC와 모든 서버에 대한 무조건적인 호환 보장으로 확대하기보다, 지원 환경을 갖춘 서버에서의 확장 방식으로 이해하는 것이 적절하다.

효율화가 메모리 수요를 없애지는 않는다는 전망

강연 말미에 진행자는 메모리를 더 효율적으로 쓰면 메모리 업계에는 악재가 아니냐고 묻는다. 김 대표는 수요와 공급의 격차가 매우 크기 때문에 일부 효율 개선이 메모리의 전체 쓰임새를 줄일 가능성은 낮다고 답한다. 그에게 CXL은 필요했던 메모리를 없애는 기술이라기보다, 부족한 자원으로 더 많은 일을 수행하도록 만드는 기술이다. AI가 다루는 데이터가 계속 늘어나는 한 효율 개선과 수요 확대가 함께 진행될 수 있다는 전망이다.

이 주장에서 구분해야 할 것은 작업 하나의 자원 사용량과 산업 전체의 사용량이다. 같은 서비스를 더 적은 메모리로 제공할 수 있게 되더라도, 서비스의 수와 사용량이 함께 증가한다면 전체 메모리 수요는 다른 방향으로 움직일 수 있다. 김 대표는 후자의 증가 압력이 강하다고 판단한다. 다만 강연에는 이를 정량적으로 입증하는 수급 전망 모델이 제시되지 않으므로, 메모리 가격이나 관련 기업의 주가가 계속 상승한다는 결론으로 연결해서는 안 된다.

산업적으로 그가 기대하는 변화는 메모리의 부가가치가 높아지는 것이다. 용량을 공급하는 데 더해 공유, 데이터 관리, 일부 연산 기능까지 담당한다면, 메모리는 시스템 효율을 직접 결정하는 역할을 맡게 된다. 김 대표는 이러한 방향이 메모리 산업의 강점을 가진 한국에도 의미가 있다고 평가한다. 이 역시 특정 기업의 실적을 보장하는 주장이 아니라, 메모리 주변으로 설계와 솔루션의 가치가 확장될 수 있다는 관점이다.

---

마무리 / 핵심 정리

이 강연의 중심에는 데이터를 더 많이 저장하는 문제와 더 적게 이동하는 문제가 함께 놓여 있다. 김진영 대표는 AI 모델과 사용자, 입력 문맥과 에이전트가 동시에 확대되는 상황에서 HBM의 용량을 늘리는 것만으로는 모든 부담을 해결하기 어렵다고 설명한다. 그가 제시하는 해법은 CXL로 메모리를 확장하고 공유하며, SSD까지 계층을 넓히고, 일부 처리를 데이터 가까이에서 수행하는 것이다. 이러한 구성을 통해 메모리와 연산 자원을 각각 필요한 만큼 활용하고 데이터 이동 부담을 줄이겠다는 구상이다.

제목의 ‘메모리 1만 배’는 수요 증가 요인을 곱한 조건부 예시이며, ‘서버 10대를 1대로’는 응용별 검증이 필요한 목표다. 이 둘을 확정된 예측이나 보편적인 실측 성능으로 읽으면 강연의 의미를 과장하게 된다. 반면 두 표현을 걷어내더라도, AI 인프라의 성능과 비용이 연산 장치뿐 아니라 데이터의 배치와 이동에 크게 좌우된다는 문제의식은 남는다. 앞으로 확인해야 할 것은 이 설계가 실제 작업에서 어느 정도의 응답 성능과 비용 절감을 만들어내는지이며, 강연은 그 검증을 이해하기 위한 기술적 관점을 제공한다.

---

📚 출처 및 참고

구분	내용
원본 영상	천재 개발자의 경고 메모리 1만배 필요합니다 (엑시나 김진영 대표) (1부)
채널	언더스탠딩 : 세상의 모든 지식
출연자	엑시나 김진영 대표
제공된 STT 범위	원본 리포트 기재 기준 00:00~56:11
리포트 작성	2026-09-20
작성 방식	YouTube 영상 STT를 바탕으로 재구성된 리포트의 문맥·용어·수치 관계를 검수. 원본 음성 및 STT 전문 대조는 수행하지 않음
외부 자료 확인	별도 외부 자료를 사용하지 않았으며, 제품 사양·성능·경쟁 구도는 강연자의 발언으로 정리

본 리포트는 STT 기반 문서에 근거하며, 기술 설명과 기업의 목표를 독립적인 성능 검증 결과로 바꾸어 서술하지 않았다. 용어는 문맥에 따라 KV 캐시, CXL, RISC-V, 데이터 근처 연산 등으로 정리했고, 숫자와 고유명사를 확정하기 어려운 대목은 생략하거나 불확실성을 설명했다. 원문에는 [?]로 표시된 수치가 없으며, 10×10×10×10=10,000과 70%×50%=35%의 계산은 일치한다. 다만 계산의 일치가 기초 수치나 제품 사양의 실증적 검증을 뜻하지는 않는다. 본문에 제시한 해석상의 한계와 검증 과제는 발언을 이해하기 위한 편집상 분석이며, 강연자의 직접 인용과 구분된다.

💬 본 리포트는 영상 내용을 바탕으로 재구성되었다. 정확한 발언과 화면 자료는 원본 영상을 참조해야 한다.

Related Reports

• 머스크가 한국서 인재 빼가는 이유 (엑시나 김진영 대표) (2부)
• 구글 TPU만 가능하다… HBM 대신 DRAM, 광스위치로 | 메모리 계층화를 통한 HBM 줄인 설계가 NVIDIA와는 다르게 가능한 이유 | DRAM 은 더 부족해진다
• 메타가 DRAM 재활용 칩을 냈습니다… 메모리 수요 줄어들까? HBM 다음은 CXL?
• 맥북에서 초거대 4000억 AI 돌려봤습니다… 속도도 빠르다? 한국 저자들이 개발한 Flash-MoE 분석 || 메모리는 더욱 중요해질겁니다
• DeepSeek AI 신규 기술… DRAM 대폭 늘리면 성능 더 좋아진다 | DDR4, DDR5 부족사태, CXL도 다시 주목받나