EP 75. (수학 공식 없는) 강화 학습 이야기
프론티어 모델의 새로운 지평 - Kimi K2의 등장
2025년 11월 7일, 중국의 프론티어 랩 Moonshot AI가 Kimi K2 Thinking 모델을 발표했다. 이 모델은 각종 벤치마크에서 GPT-5와 Claude Sonnet 4.5 Thinking과 어깨를 나란히 하거나 일부 영역에서는 이를 능가하는 성능을 보여주었다. 흥미로운 점은 Kimi의 Instruct 모델이 출시된 시점이 불과 9월이었다는 것이다. 새로운 모델의 출시 주기가 급격히 빨라지고 있는 것이다.
이러한 가속화의 핵심에는 포스트 트레이닝(Post-Training) 시대로의 전환이 있다. 프리 트레이닝(Pre-Training)이 기존 데이터를 효율적으로 활용하는 단계였다면, 포스트 트레이닝은 데이터를 창조하는 단계다. 각 기업들이 얼마나 정교한 포스트 트레이닝 레시피를 보유하고 있는가가 곧 경쟁력이 되는 시대가 도래한 것이다. 이러한 레시피들은 테크 리포트로 공개되지 않으며, 각 기업의 핵심 노하우로 관리된다.
Kimi K2의 기술적 특징
Kimi K2는 몇 가지 주목할 만한 기술적 특징을 갖추고 있다:
추론 효율성과 양자화(Quantization): 포스트 트레이닝 과정에서 “Quantization-Aware Training”을 도입했다. 특히 MoE(Mixture of Experts) FFN 부분에 대해 INT4 양자화를 적용했는데, 이는 OpenAI의 GPT-4o에서 사용한 MXFP4 양자화와 유사한 접근이다. MoE 구조의 특성상 각 모듈이 모든 데이터에 대해 학습되는 것이 아니라 부분적으로 학습되기 때문에, 일반적인 Dense 모델보다 양자화에 더 유리하다. 트릴리언급 파라미터를 가진 모델임에도 실제 메모리 상에서는 약 500~600GB 수준으로 구동될 수 있어, 8개의 GPU를 장착한 단일 서버에서도 실행 가능한 수준이다.
범용 지능 추구: 코딩과 수학에만 특화된 “뾰족한 지능”이 아닌, 창조적 글쓰기(Creative Writing)를 포함한 범용적 능력을 강조한다. Moonshot의 모델들은 독특한 문체와 스타일을 갖추고 있으며, 이는 프론티어 기업들이 여전히 일반 지능(General Intelligence)을 추구하고 있음을 보여준다.
도구 사용 능력: 단일 지시(Instruction)에 대해 200~300개의 도구를 조합하여 사용할 수 있는 능력을 보유하고 있으며, 이는 강화학습을 통해 창발된 능력으로 추정된다.
강화학습의 본질 - 보상을 통한 학습
강화학습(Reinforcement Learning, RL)은 에이전트(Agent)가 환경(Environment) 속에서 행동(Action)하고, 그 결과로 상태(State)가 변화하며, 특정 조건에서 보상(Reward)을 받는 과정을 통해 학습하는 방법론이다. 에이전트는 이 보상을 최대화하는 방향으로 행동 패턴을 학습한다.
Andrej Karpathy는 강화학습을 다소 “잔인한” 방식으로 요약한 바 있다: 에이전트가 행동하게 하고, 우연히 보상을 받으면 그때까지의 모든 행동 확률을 높인다. 이는 표면적으로는 비효율적으로 보인다. 보상으로 이어진 행동들 중에서 실제로 도움이 된 행동과 그렇지 않은 행동이 섞여 있을 텐데, 이를 구분하지 않고 모두 강화하기 때문이다.
이것이 바로 Credit Assignment Problem이다. 어떤 행동이 실제로 좋은 결과에 기여했는지를 찾아내는 문제인데, 선험적 지식이 없는 상태에서 이를 판별하는 것은 매우 어렵다. 인간도 이 문제에서 자주 실수한다 - 패턴이 없는 곳에서 패턴을 찾으려 하거나, 무관한 행동이 도움이 될 것이라 믿는 징크스가 그 예다.
보상이 띄엄띄엄 주어지는 환경(Sparse Reward Environment)에서는 이 문제가 더욱 심각해진다. 대표적인 사례가 Atari 게임 중 하나인 Montezuma’s Revenge다. 수많은 Atari 게임들이 강화학습으로 정복되었지만, 이 게임은 변칙적 방법(사람의 가이드 제공, 환경 리셋 능력 부여 등)을 쓰지 않고는 여전히 초인적 수준에 도달하지 못했다고 알려져 있다.
지도학습과의 차이
강화학습과 지도학습(Supervised Learning)의 핵심적 차이는 “어떻게 문제를 풀어야 하는지”를 가르쳐주지 않는다는 점이다.
자율주행을 예로 들어보자:
- 지도학습 방식: 인간이 운전한 궤적 데이터를 수집하고, 모델이 그 궤적을 모방하도록 학습시킨다. 결과적으로 인간 수준의 성능에 수렴한다.
- 강화학습 방식: “목적지에 성공적으로 도달하라”는 목표만 주고, 어떻게 운전할지는 모델이 스스로 찾도록 한다. 이는 인간을 뛰어넘을 가능성을 연다.
바둑에서 AlphaGo가 인간을 초월할 수 있었던 것도 이 때문이다. 모델이 스스로 바둑을 두는 방법을 탐색했기에, 인간의 한계를 넘어설 수 있었다. 강화학습은 초인적(Superhuman) 성능에 도달할 수 있는 유일한 머신러닝 방법론이라고 할 수 있다.
RLHF - LLM에 강화학습을 도입하다
**RLHF(Reinforcement Learning from Human Feedback)**는 LLM에 강화학습을 본격적으로 도입한 첫 사례다. 강화학습 연구자들 사이에서는 이것이 “진짜 RL인가”에 대한 논쟁이 있지만, 본질적으로는 강화학습의 원리를 활용한 것이다.
RLHF의 작동 원리
-
보상 모델(Reward Model) 구축: LLM에 프롬프트를 주고 두 개의 응답을 생성하게 한다. 인간 평가자가 둘 중 어느 응답이 더 좋은지 레이블링한다. 이 레이블 데이터를 활용해 보상 모델을 학습시킨다. 보상 모델은 응답의 품질을 인간의 선호도와 유사하게 예측하는 역할을 한다.
-
강화학습 수행: LLM이 응답을 여러 개 생성하면, 보상 모델이 각 응답을 평가한다. 높은 평가를 받은 응답이 생성될 확률을 높이는 방향으로 LLM을 업데이트한다.
-
인간 선호와의 정렬: 결과적으로 모델은 사람이 선호하는 응답을 생성하도록 학습되며, 이를 통해 인간과의 정렬(Alignment)이 이루어진다.
왜 RLHF인가? - SFT의 한계
많은 오픈소스 모델들은 “굳이 RLHF를 해야 하나?”라는 의문을 가지고 SFT(Supervised Fine-Tuning) 방식을 선호했다. SFT는 전문가가 작성한 정답 데이터(또는 GPT-4 같은 정렬된 모델이 생성한 데이터)를 모델이 모방하도록 학습시키는 방식이다. 예를 들어:
Q: 리히텐슈타인의 수도는?
A: 파두츠
이런 데이터를 Next Token Prediction으로 학습시킨다. 단순하고 직관적이다.
하지만 여기에는 치명적인 문제가 있다: 학습하는 모델(LLM)과 전문가는 서로 다른 에이전트다. 이 차이가 할루시네이션(Hallucination) 문제를 야기한다.
모델이 아는 질문의 경우:
Q: 프랑스의 수도는?
A: 파리
모델이 이미 답을 알고 있다면, “자신이 아는 사실로 응답하라”는 행동 양식을 학습한다.
모델이 모르는 질문의 경우:
Q: 리히텐슈타인의 수도는?
A: 파두츠
모델이 답을 모른다면, 두 가지를 동시에 학습한다:
- 리히텐슈타인의 수도가 파두츠라는 지식
- 모를 때도 일단 응답하라는 행동 양식
OpenAI의 최근 할루시네이션 논문도 이를 지적했다: 모델이 “일단 대답하는 것”에 대해 보상을 받아서 할루시네이션이 발생한다는 것이다. SFT는 모델을 크게 변화시키며, 이는 종종 바람직하지 않은 패턴(모를 때도 답하기)을 강화한다.
On-Policy vs Off-Policy - 일반화의 핵심
Off-Policy 문제의 본질
On-Policy: 학습하는 에이전트와 행동하는 에이전트가 동일하다. Off-Policy: 학습하는 에이전트와 행동하는 에이전트가 다르다.
Richard Sutton의 교과서에 나오는 극단적 예시: 요리하는 사람의 행동 데이터로는 운전을 배울 수 없다. 이것이 Off-Policy의 근본적 어려움이다.
자율주행 사례로 구체화해보자:
- 인간 전문가는 A 지점에서 B 경로를 통해 목적지에 도달하는 능력이 있다
- 모델은 B 경로로 갈 수 있는 능력이 아직 없어서 C 경로를 택한다
- 모델은 “A→B→목적지” 데이터만 학습했으므로, C 지점에 도착하면 학습 과정에서 본 적 없는 상황에 직면한다
- 이후 행동은 예측 불가능해진다
이 문제는 모델이 풀 수 있는 문제인가와 결합된다. 모델이 풀 수 없는 문제를 전문가의 방식으로 학습시키면, 현실에서는 작동하지 않는다.
일반화와 암기 - 모델이 풀 수 있는 문제의 중요성
오버피팅(Overfitting)은 단순히 “변수가 많고 모델이 복잡해서” 발생하는 것이 아니다. 더 본질적으로는 모델이 풀 수 없는 문제가 주어졌을 때 발생한다.
사례 1: 이미지 분류 극도로 작은 이미지(예: 8x8 픽셀)를 분류하는 문제를 생각해보자. 변수는 적지만, 정보가 너무 부족해서 실제로는 풀 수 없는 문제다. 모델은 데이터를 암기하는 방향으로 간다.
사례 2: 레이어 깊이와 추론 단계
- 각 레이어가 한 번의 추론 단계(Reasoning Step)를 수행한다고 가정하자
- 레이어가 2개인 모델: 1단계 추론 문제와 2단계 추론 문제는 풀 수 있지만, 3단계 추론 문제는 풀 수 없다
- 3단계 문제를 2개 레이어 모델에게 주면? 모델이 강력하다면 데이터를 암기해버린다 (예: “숫자 4가 나오면 10을 출력”)
- 레이어를 3개로 늘리면? 오히려 일반화가 향상된다 - 모델이 커졌지만 오버피팅이 감소하는 것이다
최상의 일반화: 알고리즘 학습
정렬 문제를 예로 들어보자:
입력: [5, 2, 8, 1, 9]
출력: [1, 2, 5, 8, 9]
모든 입력-출력 쌍을 암기할 수도 있지만, 최선의 일반화는 정렬 알고리즘 자체를 학습하는 것이다. 이를 위해서는 모델이 정렬 알고리즘을 학습할 수 있을 만큼 충분한 표현력(Capacity)를 가져야 한다. 능력이 부족하면 암기로 회귀하고, 일반화는 불가능해진다.
토큰과 연산량 - 추론 과정의 분해
하나의 레이어가 수행할 수 있는 연산량은 한정적이다. Transformer의 경우 레이어 수가 유한하므로, 단일 토큰에 대해 수행 가능한 연산량도 한정적이다.
복잡한 2차 방정식을 푸는 문제를 생각해보자:
ax² + bx + c = 0
한 번에 풀기: 모델이 이 방정식을 단일 토큰으로 정답까지 도출하기에는 연산량이 부족하다면, 이는 모델이 풀 수 없는 문제다. 결과는 암기로 귀결되고, 일반화는 실패한다.
단계별 분해:
1. 근의 공식을 적용: x = (-b ± √(b²-4ac)) / 2a
2. 판별식 계산: D = b² - 4ac
3. 제곱근 계산: √D
4. 최종 해 도출: x₁, x₂
각 단계의 연산량은 한 번에 푸는 것보다 적다. 모델이 풀 수 있는 문제가 되는 것이다. 이제 모델은 알고리즘을 학습할 수 있고, 일반화가 가능해진다.
프리 트레이닝과 추론 능력의 씨앗
탐색 공간의 축소
토큰 100개짜리 텍스트를 생성하는 문제를 생각해보자. Kimi K2의 vocabulary 크기는 163,840개다. 가능한 경우의 수는 163,840^100이다. 바둑의 탐색 공간보다 훨씬 크다.
Kimi K2의 학습 loss는 약 1.32로, 이는 perplexity로 환산하면 3.7이다. 이것의 의미는:
- 원래 163,840개의 선택지가 있었으나
- 프리 트레이닝 후 평균 3.7개의 선택지 중에서 고르는 문제로 축소됨
- 맥락이 주어지거나 자명한 토큰의 경우 선택지는 더욱 줄어듦
프리 트레이닝은 말도 안 되는 무수한 토큰 시퀀스들을 걸러내고, 의미 있는 경로들만을 남기는 과정이다. 바벨의 도서관에서 의미 있는 책들만 골라내는 것과 같다.
엔트로피 분석 - 중요한 토큰은 무엇인가
Chain of Thought 생성 과정을 분석하면 흥미로운 패턴이 드러난다:
낮은 엔트로피(파란색, 확신): 대부분의 토큰들은 엔트로피가 낮다. 숫자 계산, 산술 연산 등 자동적으로 이어지는 부분들이다. 모델이 거의 확신을 가지고 예측한다.
높은 엔트로피(붉은색, 불확실): 소수의 토큰들만 엔트로피가 높다. 이들은:
- “그렇다면”, “Maybe”, “다시 생각해보면” 같은 사고의 전환 토큰
- 결론을 도출하는 토큰
- 분기점이 되는 토큰
역설적이게도, 사람들이 어렵다고 생각하는 숫자 계산은 모델에게 낮은 엔트로피를 보이고, 평범해 보이는 접속사나 전환 표현이 높은 엔트로피를 보인다. 이 토큰들이 바로 결정적인 갈림길이기 때문이다.
실제 탐색 공간은 이 소수의 붉은색 토큰들에 집중되어 있다. 프리 트레이닝이 탐색 공간을 극적으로 축소시킨 것이다.
추론 능력의 기원 - 인터넷 포럼의 집단 지성
인터넷에는 중간 과정 없이 질문과 답만 존재하는 데이터가 대부분이다. 수학 포럼의 예시:
사용자: [복잡한 적분 문제]
Cleo(유명 유저): [정답만 제시, 과정 없음]
→ 사람들의 의심: "문제와 답을 같은 사람이 만든 거 아니야?"
이런 “한 번에 답 내기” 데이터가 넘쳐난다. 그런데 드물게, 포럼에서의 상호작용이 다른 패턴을 만든다:
송고쿠: [숙제 문제 질문]
BVU: "이 사례에 대해 생각해보는 건 어때?"
송고쿠: "생각해보니까 여기서 실수한 것 같네?"
BVU: "그렇다면 이 부분은?"
송고쿠: "아, 이게 맞나?"
이것은 집단적 추론의 기록이다. 한 사람이 아니라 여러 사람의 상호작용으로 만들어진 Chain of Thought다. 이런 데이터는 극히 드물지만, LLM이 추론하는 능력을 배운 씨앗이 된다.
Andrej Karpathy가 유레카 랩(Eureka Labs)을 창업하며 한 말과 일맥상통한다: “나의 perplexity를 완벽히 이해하고 있는 조교가 있다면, 학습 효율이 극대적으로 증가한다.”
강화학습을 통한 추론 능력의 부상
비대칭적 확률 구조
최근 연구에서 밝혀진 흥미로운 현상:
| 경우 | 발생 확률 | 정답률 |
|---|---|---|
| 추론(CoT) 생성 | 낮음 (예: 1%) | 높음 (예: 80%) |
| 추론 없이 답변 | 높음 (예: 99%) | 낮음 (예: 40%) |
LLM은 기본적으로 추론을 생성하지 않을 확률이 훨씬 높다. 하지만 추론을 생성했을 때 정답일 확률은 훨씬 높다. 이 비대칭성이 핵심이다.
기하급수적 부상 메커니즘
강화학습은 정답인 경우의 확률을 높인다. 비대칭 구조에서:
- 1회차: 추론 생성 확률 1% → 정답률 높아서 상대적으로 2배 강화 → 2%
- 2회차: 2% → 4%
- 3회차: 4% → 8%
- n회차: 기하급수적(Exponential) 증가
반면 프리 트레이닝에서는 추론 없는 패턴이 압도적으로 많아서, 추론 패턴의 확률이 계속 낮게 유지된다.
이것이 프리 트레이닝 대비 10% 미만의 컴퓨팅으로 포스트 트레이닝이 극적인 성능 향상을 이루는 이유다. 낮은 확률로 잠재되어 있던 능력이 강화학습을 통해 급격히 주류 패턴으로 부상하는 것이다.
응답 분포의 이동
강화학습 전후로 모델의 응답 분포 자체가 이동한다:
- 이전: 짧고 직접적인 답변 선호
- 이후: 긴 추론 과정을 거치는 답변 선호
이것을 “단순히 말을 길게 하는 성향이 강화된 것”으로만 볼 수 있을까? 아니다. 본질은 다음과 같다:
추론 없이 답변 = 암기 기반 = 일반화 불가능
추론 후 답변 = 알고리즘 기반 = 일반화 가능
강화학습은 모델을 일반화 불가능한 패턴에서 일반화 가능한 패턴으로 이동시킨다.
능력의 창발 vs 능력의 발현
“기존 능력을 꺼내오는 것일 뿐 아니냐?”는 논쟁이 있다. 복합적 답변이 필요하다:
1. 영역 간 전이(Transfer): 수학 추론을 학습했더니 시 쓰기에서도 추론하기 시작한다. 프리 트레이닝이 다양한 영역을 연결해두었기에 가능하다.
2. 조합적 능력(Compositional Ability):
- A 문제 푸는 능력 + B 문제 푸는 능력 → A+B 문제 푸는 새로운 능력 창발
- 합성함수처럼, 기본 능력들을 조합해 새로운 능력 생성
3. 도구 사용 확장: Kimi K2가 단일 지시에 200~300개 도구를 조합 사용하는 능력도, 기본적 도구 사용 능력이 강화학습을 통해 더 복잡하게 조합되며 창발되었을 가능성이 있다.
DeepSeek R1 - 원리의 실증
DeepSeek R1은 이 모든 원리를 단순한 방식으로 구현했다:
프롬프트:
"추론 과정을 수행한 다음, 사용자에게 응답을 제공해라.
추론 과정은 <Think> 태그 안에 넣고,
응답은 <Answer>로 감싸라."
보상:
- <Answer> 내 응답이 정답과 일치하는지만 판단
- <Think> 내부의 내용에는 아무런 제약 없음구조적 제약은 최소화하고, 정답 여부만 정확히 판단한다. 이것만으로 추론이 발생했다.
Anthropic의 Claude 모델에도 1년 전부터 <antThink> 태그가 존재했다. 당시에도 CoT 능력이 있었지만, 그것이 순수한 강화학습으로 학습된 것인지, 사람이 작성한 CoT 데이터를 포함했는지는 불명확하다. 다만 DeepSeek R1은 내부 구조에 개입하지 않고 오직 정답 피드백만으로 추론을 이끌어냈다는 점에서 원리의 순수한 실증이다.
일반화를 위한 다섯 가지 조건
지금까지의 논의를 종합하면, LLM에서 추론 능력이 일반화 가능한 형태로 등장하기 위한 조건들은 다음과 같다:
1. 모델이 풀 수 있는 문제 제공
모델의 역량을 초과하는 문제는 암기로 귀결된다. 문제를 단계별로 분해하여 각 단계가 모델의 토큰당 연산 능력 내에서 해결 가능하도록 해야 한다.
2. On-Policy 학습
모델이 자신의 방식으로 문제를 풀고, 그 경험으로부터 학습해야 한다. 전문가의 풀이를 모방하는 Off-Policy는 모델이 실제로 도달하지 못하는 경로를 학습시켜, 현실에서 막히게 만든다.
3. 구조적 제약 최소화
MCTS 같은 특정 탐색 구조를 강제하는 것은 인간의 가정이다. 모델이 선호하는 추론 구조는 다를 수 있으며, 인위적 구조는 오히려 방해가 될 수 있다.
4. 정확한 정답 판단
일반화 불가능한 패턴(암기, 추측)이 우연히 맞춘 경우를 걸러내려면, 정답 판단이 엄격해야 한다. 정확한 피드백만이 일반화 가능한 패턴을 선별적으로 강화할 수 있다.
5. 프리 트레이닝의 토대
프리 트레이닝은 탐색 공간을 극적으로 축소하고, 극히 낮은 확률이지만 추론 능력의 씨앗을 심는다. 강화학습은 이 씨앗을 기하급수적으로 성장시킨다.
철학적 성찰 - 모방을 넘어서
Jason Wei(전 OpenAI, 현 Meta 연구자)의 통찰은 AI를 넘어 인간 학습에도 적용된다:
“인간도 처음에는 모방으로 학습한다. 선생님을 따라 하고, 좋은 사례를 모방한다. 그러나 각자의 능력과 환경은 다르다. 진정한 일반화를 위해서는, 어느 순간 모방할 수 없는 지점에 도달한다. 그때부터는 스스로 시도하고, 경험하고, 보상을 얻는 On-Policy 학습을 할 수밖에 없다. 모방을 뛰어넘어야 하는 이유다.”
우리의 삶 자체가 On-Policy 강화학습이다. 보상함수는 사회가 정의한다 - 연애, 부, 명예. 그러나 위대한 사람들은 자신만의 상위 보상함수를 스스로 정의한다.
교육도 마찬가지다. 개인의 perplexity를 정확히 이해하고, 풀 수 있는 문제를 제공하며, 스스로 경험하게 하는 것. 이것이 진정한 학습이다.
핵심 인사이트: 강화학습이 LLM에서 작동하는 이유는 단순히 “보상을 주니까”가 아니다. 프리 트레이닝이 심어놓은 낮은 확률의 일반화 가능한 패턴을, 정확한 피드백과 On-Policy 탐색을 통해 비대칭적으로 증폭시키기 때문이다. 이는 암기에서 알고리즘으로, 모방에서 창조로 나아가는 과정이다. 그리고 이 원리는 AI뿐 아니라 인간 학습의 본질과도 맞닿아 있다.