EP 81. DeepSeek이 바꿔버린 모든 것: MoE와 RLVR, 2025년 AI 회고
2025년 AI 패러다임의 전환
2025년은 AI 업계에서 급격한 변화의 해로 기록된다. 특히 연초 DeepSeek R1의 등장은 단순한 모델 발표를 넘어 전체 산업의 패러다임을 재정의하는 분기점이 되었다. DeepSeek이 제한된 연산자원(H800 2,000대 수준)으로 프론티어급 성능을 달성하면서, 중국을 중심으로 한 다수의 기업들이 일제히 대규모 모델 개발에 뛰어들었다.
2024년까지만 해도 중국 기업들은 70B 규모의 중소형 모델에 집중했다. 연산력 제약이라는 현실적 한계 속에서 “할 수 있는 만큼 하자”는 분위기가 지배적이었다. 그러나 DeepSeek이 제한된 자원으로도 GPT-4 수준을 넘볼 수 있음을 입증하자, 시장의 방향이 완전히 바뀌었다. 집식(DeepSeek), 미니맥스(MiniMax), ZAI, 샤오미, 텐센트, 문샷(Moonshot), 엔트로픽, 알리바바, 메이튜안 등 수많은 중국 기업들이 프론티어급 모델을 공개했고, 이들은 모두 더 크고 더 강력한 모델을 목표로 삼고 있다.
흥미로운 점은 2025년에 공개된 오픈 프론티어 모델이 거의 전부 중국산이라는 사실이다. Meta의 Llama 4가 나오긴 했으나 큰 인상을 남기지 못했고, Mistral 등 유럽 기업들도 오픈 프론티어급 모델을 내놓지 못했다. 중국이 제한된 컴퓨팅 파워 속에서도 전 세계 오픈소스 프론티어 모델 개발을 사실상 독점한 것이다.
MOE(Mixture of Experts): 2025년의 핵심 아키텍처
MOE가 가능하게 만든 효율성 혁명
2025년 AI 모델 발전의 첫 번째 핵심 키워드는 단연 **MOE(Mixture of Experts)**다. MOE 아키텍처는 전체 파라미터 중 일부만 활성화(Activation)하는 희소성(Sparsity) 원리를 기반으로 한다. 예를 들어 전체 파라미터가 600B인 모델이라도 각 토큰 예측 시 실제 사용되는 파라미터는 10B~50B 수준에 불과하다. 나머지 파라미터는 잠재적으로 존재하면서 상황에 따라 선택적으로 활성화된다.
연구 결과에 따르면 동일한 학습 연산량(Compute) 대비 MOE 모델의 성능은 Dense 모델 대비 7배 이상의 연산력을 투입한 것과 유사한 효과를 낸다. 더욱 놀라운 점은 학습 연산량이 증가할수록 이 배수(Compute Multiplier)가 더 커진다는 사실이다. 일반적으로 스케일링 법칙에서 2배 효율을 유지하는 것만으로도 대단한 발견인데, MOE는 규모가 커질수록 효율 배수가 증가하는 양상을 보인다.
또한 Sparsity(희소성) 수준에 따라 효율이 달라진다. 전체 파라미터 중 4분의 1을 활성화하는 모델보다 50분의 1만 활성화하는 모델의 Compute Multiplier가 더 크다. 즉, 더 적은 파라미터를 선택적으로 활성화할수록 학습 효율이 비약적으로 증가하는 것이다.
MOE의 이론적 배경과 한계
MOE가 왜 이렇게 효과적인가에 대한 명확한 이론적 설명은 아직 부족하다. 현재 가장 유력한 설명은 **희소성을 통한 조합 가능성(Composability)**이다. 수백 개의 전문가(Expert) 모듈이 존재하고, 각 토큰마다 상황에 맞는 일부 모듈만 선택적으로 사용된다. 매번 사용하는 연산량은 제한되어 있지만, 전체 파라미터 풀이 크기 때문에 시스템 전체로서는 거대 모델의 효과를 낸다는 논리다.
다만 직관적으로 “수학은 이 Expert가, 과학은 저 Expert가”처럼 명확히 역할이 분리되는 것은 아니다. 매 토큰마다 다른 Expert로 라우팅되며, 여러 Expert가 동시 활성화되기도 하고, Shared 파라미터도 존재한다. 이 모든 것이 하이퍼파라미터로 결정되며, 그 조합이 어떻게 학습되는지에 대한 깊은 이론적 이해는 여전히 발전 중이다.
DeepSeek의 선구적 기여
DeepSeek은 MOE 레시피를 극도로 정교하게 완성했고, 이는 Llama 2가 이전 세대 베이스 아키텍처가 된 것처럼 새로운 표준으로 자리잡았다. Moonshot의 Kimi 같은 모델은 “DeepSeek 아키텍처가 이미 충분히 좋기 때문에 굳이 개선할 필요 없다”며 그대로 채택했다. Mistral도 유사한 전략을 취한 것으로 보인다.
결과적으로 2025년에 공개된 거의 모든 프론티어급 모델이 MOE 아키텍처를 채택했다. 엣지 디바이스용 모델을 제외하면 Dense 모델을 찾기 어려울 정도다. GPT-4o도 상당히 희소한 MOE 모델로 알려져 있다. MOE는 선택이 아닌 필수가 되었다.
RLVR(Reinforcement Learning with Verifiable Rewards): 추론과 에이전트의 시대
RLVR 패러다임의 등장
2025년의 두 번째 핵심은 **RLVR(Reinforcement Learning with Verifiable Rewards)**이다. DeepSeek R1이 2025년 1월 공개되면서 함께 제시한 이 방법론은 “검증 가능한 방식으로 정답을 사용해 보상을 주면 추론이 학습된다”는 단순하면서도 강력한 원칙을 제시했다. 2024년 내내 연구자들이 탐색했던 다양한 접근법 중에서 핵심을 명확히 짚어낸 것이다.
RLVR의 핵심 아이디어는 최종 결과물(Outcome)에 대한 검증 가능한 평가다. 예를 들어 수학 문제를 푸는 과정에서 모델이 어떤 추론 경로를 거쳤는지는 중요하지 않다. 최종 답이 맞는지만 평가하고, 맞으면 보상을 준다. 중간 과정은 모델이 자율적으로 탐색하도록 놔두는 것이다.
이는 OpenAI O1 등 추론 모델의 기반이 되었고, 더 나아가 **에이전트 포스트 트레이닝(Agent Post-Training)**이라는 새로운 방향을 열었다. 모델이 도구를 사용하고, 외부 환경과 상호작용하며, 작업을 수행하는 전체 과정에 RLVR을 적용하면 모델 자체가 에이전트로 학습된다.
RLHF vs RLVR: 챗봇에서 에이전트로
RLHF(Reinforcement Learning from Human Feedback)가 챗봇을 만들기 위한 포스트 트레이닝이었다면, RLVR은 에이전트를 만들기 위한 포스트 트레이닝이다.
코딩 에이전트를 예로 들어보자. 모델에게 편집기, 코드 레포지토리 읽기/쓰기 등 다양한 도구를 제공한다. 이전 방식이라면 “이 상황에서는 이 도구를 사용하고, 이렇게 파일을 수정하라”는 식으로 모든 단계를 세밀하게 설계해야 했다. 하지만 RLVR 방식에서는 최종 결과물만 검증한다. 유닛 테스트를 통과했는지만 확인하고, 중간 과정은 모델이 알아서 탐색하게 한다. 테스트를 통과하면 보상을 주고, 이를 통해 에이전트로서의 능력을 학습시킨다.
이는 콜드 스타트 문제 등 여러 기술적 난제가 있지만, 기본 아이디어는 매우 강력하다. 현재 시장에 나온 모든 코딩 에이전트가 바로 이 에이전트 포스트 트레이닝의 산물이다.
RL 인프라의 복잡성
LLM에서 RL을 수행하는 것은 굉장히 복잡한 인프라를 요구한다. 크게 세 가지 이질적인 시스템이 긴밀히 연결되어야 한다.
- 학습 인프라: 모델 파라미터를 업데이트하는 시스템
- 샘플링 엔진: 모델로부터 생성(Inference)을 수행하는 시스템
- 환경 인프라: 샘플링 결과를 받아 환경과 상호작용하고 보상을 계산하는 시스템
학습 → 샘플링 → 환경 → 학습으로 이어지는 루프가 빠르고 정확하게 돌아야 한다. 프리 트레이닝에서는 학습 인프라만 효율적으로 구축하면 됐지만, RL에서는 이 세 시스템이 모두 빨라야 하고, 빠르게 전환되어야 하며, 정확해야 한다. 연구 결과에 따르면 이 과정에서 약간의 오차만 있어도 학습이 망가진다.
더욱이 MOE 모델을 안정적으로 RL 학습시키는 것은 또 다른 난제다. 그러나 중국 쪽에서 집중적으로 달라붙으면서 2025년 한 해 동안 RL 인프라는 비약적으로 발전했다. 이는 2025년의 중요한 성과 중 하나다.
RL의 본질: 조합 능력의 학습
RL이 처음 등장했을 때부터 핵심 질문은 “RL이 새로운 능력을 부여하는가, 아니면 기존 능력을 끌어내는가”였다. 초기에는 후자 쪽 의견이 우세했다. 프리 트레이닝에서 이미 배운 능력이 모델 안에 파묻혀 있고, RL은 그것을 표면으로 끌어올리는 역할만 한다는 것이다.
그러나 2025년 동안 이해가 깊어지면서 새로운 관점이 등장했다. 바로 **원자적 스킬(Atomic Skill)**과 **조합 능력(Compositional Ability)**의 구분이다.
- 원자적 스킬: 사칙연산 같은 기본적이고 독립적인 기술. 프리 트레이닝에서 학습됨.
- 조합 능력: 이러한 원자적 스킬들을 순서에 맞게 체이닝(Chaining)하고 조합하여 복잡한 문제를 푸는 능력. RL을 통해 학습됨.
예를 들어 사칙연산이라는 원자적 스킬은 프리 트레이닝에서 배우지만, 사칙연산을 다양하게 조합해 복잡한 수식을 풀어내는 능력은 RL을 통해 부여된다는 것이다. 이는 경험적 관찰에 기반한 이해지만, 프리 트레이닝과 포스트 트레이닝의 역할 분담에 대한 중요한 통찰을 제공한다.
이러한 이해는 **미드 트레이닝(Mid-Training)**의 방향성에도 영향을 미쳤다. 미드 트레이닝에서는 에이전트에 필요한 원자적 스킬들을 개별적으로 잘 주입하는 데 집중하고, 포스트 트레이닝 RL에서는 그것들을 조합하는 능력을 학습시키는 구조가 가능해진 것이다.
2025년 총평: 패러다임의 연마
2025년은 아이러니하게도 “패러다임 전환의 해”였으면서도 동시에 “연마의 해”였다. 경천동지할 만한 사건은 대부분 연초에 집중되었다. DeepSeek 모멘트가 패러다임 쉬프트를 일으켰고, 나머지 한 해는 그 새로운 패러다임(MOE + RLVR)을 이해하고, 발전시키고, 스케일링하는 데 집중되었다.
중국의 독주
2025년 오픈 프론티어 모델은 사실상 중국이 독점했다. DeepSeek, MiniMax, ZAI, Moonshot Kimi, Xiaomi, Tencent, Alibaba, Meituan 등이 모두 프론티어급 모델을 공개했으며, 이들은 600B~1T 파라미터 규모에 Active Parameter는 10B~100B 수준의 MOE 모델들이다.
흥미로운 점은 레시피가 공개되어 있음에도 중국 밖에서는 이런 모델이 거의 나오지 않았다는 것이다. 이는 단순히 기술적 비밀의 문제가 아니라 의지, 자원, 데이터, 그리고 제품으로서 AI를 바라보는 문화의 문제일 수 있다. 프론티어 모델 개발이 점점 더 연구 대상이 아닌 제품 개발로 변모하고 있으며, 90%가 아닌 99.9%를 노리는 집요함이 필요해졌다.
데이터: 모델은 제품이고 데이터는 모델이다
“모델은 제품이고, 데이터는 모델이다”라는 표현이 2025년을 관통한다. NVIDIA의 Nemotron 페이퍼를 보면 절반 이상이 데이터 구축 방법론에 할애되어 있다. 하이퍼파라미터나 아키텍처 이야기는 거의 없고, 데이터를 어떻게 정제하고 가공했는지에 집중한다.
역설적이게도 오픈소스 모델(특히 Qwen 30B)이 데이터 가공의 핵심 도구로 사용되고 있다. 모델을 만들려면 데이터가 필요한데, 데이터를 만들려면 모델이 필요하다. 이 순환 고리에서 오픈 모델들이 첫 단계 모델 역할을 해주고 있는 것이다.
그러나 데이터 문제는 여전히 최대 병목이다. 에이전트가 더 복잡하고 고품질의 작업을 수행하려면 그에 상응하는 고품질 데이터가 필요하다. 90%의 자율주행은 쉽지만 99.9%를 달성하려면 엣지 케이스와 롱테일 데이터를 끊임없이 수집해야 하는 것처럼, AI 모델도 동일한 문제에 직면해 있다.
2026년 전망: 스케일업과 패러다임 도약
1. 스케일업에 대한 갈망
중국 기업들의 테크니컬 페이퍼를 읽다 보면 공통된 아쉬움이 묻어난다. “연산력을 더 확보할 수 있다면…” DeepSeek V3.2 논문에서도 프리 트레이닝을 더 강화하고 싶다는 언급이 나온다. 롱 컨텍스트를 더 다루고, 모델을 더 키우고 싶다는 욕구가 강하게 표출된다.
현재 대부분 모델의 Active Parameter는 100B 이하다. 전체 파라미터가 1T~2T라 해도 실제 사용되는 건 10B~50B 수준이다. RL을 하면서 자연스럽게 이런 생각을 하게 된다. “100B도 이 정도인데 200B, 300B면 어떨까?” “프리 트레이닝을 15T 토큰이 아니라 50T, 100T 하면 어떨까?”
DeepSeek R1 논문에서 흥미로운 관찰이 있었다. 작은 모델에서는 RL이 잘 안 되다가 모델이 커지니 갑자기 잘 되기 시작했다. 즉, 프리 트레이닝 스케일업이 RL 성능 도약을 가져올 수 있다는 것이다. 이는 단순한 점수 상승이 아니라 “안 되던 것이 되는” 형태의 창발적 능력 출현 가능성을 의미한다.
Google Gemini 3.0의 경우에도 프리 트레이닝 돌파가 핵심이었다. 2026년에는 더 큰 규모, 더 많은 토큰, 더 정교한 프리 트레이닝이 핵심 경쟁 요소가 될 것이다.
2. 새로운 패러다임: 자율적 에이전트
지금의 코딩 에이전트는 여전히 사람이 지시하고, 결과를 확인하고, 피드백을 주는 루프를 따른다. 그러나 진정한 경제적 가치 창출을 위해서는 더 자율적인 에이전트가 필요하다.
상상해보자. 에이전트에게 프로젝트를 맡겨 놓으면, 밤새 사람의 다음 지시 없이도 알아서 코드를 개선하고, 기능을 추가하고, 최적화하고, 심지어 프로젝트를 완성한다. 사람은 중간중간 결과를 보고 피드백을 줄 뿐이다. 인터페이스 자체가 채팅에서 비동기 협업으로 변화하는 것이다.
이러한 자율성이 실현되면, 에이전트가 창출하는 가치는 지금과는 질적으로 다를 것이다. 현재의 막대한 투자금을 정당화할 수 있는 수준의 가치는 바로 이런 패러다임 전환에서 나올 것이다.
3. 지속 학습(Continual Learning)
실리콘밸리와 샌프란시스코 베이 에리어에서 지금 가장 뜨거운 화두는 **지속 학습(Continual Learning)**이다. 데이터 병목 문제를 돌파하는 핵심 방법으로 주목받고 있다.
지금은 사람이 모든 시나리오, 모든 엣지 케이스에 대해 데이터를 만들어줘야 한다. 그러나 지속 학습이 가능해지면, 모델이 스스로 필요한 것을 배운다. 단순히 데이터를 계속 추가하는 수준이 아니라, 모델이 실제 상황에서 무엇이 중요한지 발견하고, 무엇을 배워야 하는지 결정하고, 스스로 학습하는 것이다.
기술적으로는 In-Context Learning의 확장, 메모리 시스템, 선택적 파라미터 업데이트 등 여러 접근이 가능하지만, 가장 중요한 것은 무엇을 배울 것인가를 모델이 스스로 결정하는 능력이다. 학습 자체가 가능한 게 중요한 게 아니라, 실제 상황에서 필요한 것을 발견하고 배우는 메타 능력이 핵심이다.
OpenAI 등 프론티어 랩들이 이 부분에서 상당히 발전했다는 소문이 있으며, 2026년에는 그 면모가 드러날 가능성이 있다. 확률 50%.
4. Self-Play의 난제
AlphaGo 이후 Self-Play는 많은 기대를 받았지만, 수학 문제나 코딩처럼 제로섬 게임이 아닌 영역에서는 구현이 매우 어렵다. 문제를 만드는 에이전트와 푸는 에이전트를 대립시키는 아이디어는 매력적이지만, 함정이 있다.
- 정답률 0%의 문제를 만들기는 너무 쉽다. 말도 안 되는 문제를 내면 된다.
- 정답률 50%의 문제를 만들기도 쉽다. 사칙연산 길이만 늘리면 난이도 조절이 가능하다.
핵심은 사람이 보기에 흥미롭고 가치 있는 문제를 만드는 것이다. 이는 인간과의 정렬(Alignment) 문제와 직결된다. 최근 연구들은 “사람과 정렬되어 있지 않으면 Self-Play는 작동하지 않는다”는 결론에 도달하고 있다.
5. 내재적 동기와 정렬
결국 세 가지 문제(자율적 에이전트, 지속 학습, Self-Play)는 모두 **내재적 동기(Intrinsic Motivation)**와 인간 정렬(Alignment) 문제로 수렴한다.
- Self-Play: 사람이 보기에 흥미로운 문제를 만드는 동기
- 지속 학습: 무엇을 배울지 결정하는 동기
- 자율적 에이전트: 코드를 최적화하고 개선하려는 동기
사람은 자연스럽게 이런 동기를 갖는다. “이 문제 흥미롭다”, “이걸 배우면 쓸모있겠다”, “이 코드는 더 개선할 수 있겠다”. 모델에게도 이런 동기가 부여되고, 그 동기가 인간의 가치와 정렬되어 있다면, 패러다임 전환이 일어날 것이다.
이는 Ilya Sutskever가 말한 “감정은 Value Function이다”와도 연결된다. 감정과 동기는 완전히 같지는 않지만, 강하게 연관되어 있다. SSI(Safe Superintelligence Inc.), Thinking Machine 등 Ilya의 새 회사와 관련 회사들이 모두 이 문제에 관심을 두고 있다는 소문이 있다.
2026년에 이 문제의 면모가 보인다면, 그것이 가장 중요한 패러다임 전환이 될 것이다. 이는 RLVR 이전의 에이전트와 이후의 코딩 에이전트가 질적으로 달랐던 것처럼, 현재의 코딩 에이전트와는 질적으로 다른 에이전트를 탄생시킬 것이다.
거품인가, 전쟁인가
막대한 투자금이 AI에 쏟아지고 있다. 이것이 거품이냐는 질문에 대해, 역사적으로 유례를 찾기 어려운 상황이라는 지적이 있다. 새로운 기술이 스스로를 발전시키고, 그 발전이 투자를 정당화해야 하는 구조는 전례가 없다.
맨해튼 프로젝트, 아폴로 프로젝트는 국가가 주도했다. 지금은 민간 기업들이 국가를 초월하는 투자를 하고 있다. 핵 개발 경쟁에서 승리한 국가들이 한 세기를 지배했듯, AI 경쟁의 승자는 엄청난 파급력을 갖게 될 것이다.
프론티어 랩들이 느끼는 감정은 **FOMO(Fear of Missing Out)**다. 기술 개발 성공 여부는 불확실하지만, 누군가 성공하고 자신이 뒤처진다면 그 파급효과는 상상할 수 없이 크다. 따라서 패배를 생각할 수 없고, 남아있는 모든 돈을 끌어다 경쟁하는 것이다.
일종의 AI 전쟁이다. 확률은 50%에 불과하지만, 성공했을 때의 파급력이 너무 크기 때문에 아무도 빠질 수 없는 게임이 되어버렸다.
결론: 예측 불가능한 미래를 즐기기
2026년은 2025년보다 더 빠르게 변할 것이다. 스케일업은 계속될 것이고, 패러다임 도약의 징후가 나타날 가능성은 50%다. 그 부산물들은 확실히 나올 것이다.
우리가 2025년에 배운 것을 언러닝해야 할 가능성이 높다. 지금 잘 작동하는 것, 익숙한 것을 계속하면 안 될 수도 있다. 두세 스텝 앞을 찍고 준비해야 말이 되는 상황이 올 것이다.
예측은 불가능하다. 특히 모든 것이 확률에 걸려 있을 때는 더욱 그렇다. 그렇다면 남은 선택지는 하나다. 즐기는 것. 기술 발전 자체에 집중하면 즐거움을 찾을 수 있다. 다만 그 사회적 파급효과까지 생각하면 마음이 무거워지긴 한다.
동호인으로서는 최고의 시대다. 현생을 살아가는 인간으로서는 도전적인 시대다. 그 중첩된 삶 속에서 우리는 2026년을 맞이한다.
핵심 키워드 정리
- MOE(Mixture of Experts): 희소성 기반 아키텍처, Compute Multiplier 7배 이상, 스케일링 효율 증가
- RLVR: 검증 가능한 보상 기반 RL, 에이전트 포스트 트레이닝의 핵심
- 원자적 스킬 vs 조합 능력: 프리 트레이닝은 전자, RL은 후자 학습
- 2026년 예측: 스케일업, 자율적 에이전트, 지속 학습, 내재적 동기와 정렬
중국 팟캐스트 추천: 단론(Siaoyouzu) - 프론티어 연구자들의 생생한 인사이트