EP 73. 씁쓸한 교훈 The Bitter Lesson
서론 - 타임라인을 뜨겁게 달군 서튼의 인터뷰
2025년 10월, 강화학습(Reinforcement Learning) 분야의 대부 Richard Sutton이 Dwarkesh Patel의 팟캐스트에 출연하여 충격적인 발언을 쏟아냈다. LLM 업계는 그를 우군으로 여겼으나, 서튼은 “여러분 모두 틀렸다”고 선언했다. 그의 유명한 에세이 ‘The Bitter Lesson’이 LLM의 스케일링 법칙을 옹호하는 근거로 인용되어 왔지만, 서튼 본인은 현재의 LLM 패러다임에 근본적으로 회의적이었던 것이다.
이 인터뷰는 머신러닝 커뮤니티뿐 아니라 신경과학, 교육학, 심리학 분야까지 격렬한 논쟁을 불러일으켰다. 특히 LLM+RL이 강력한 성과를 보이던 시점에서, RL의 창시자가 정면으로 비판을 제기했다는 사실은 업계에 큰 충격이었다.
The Bitter Lesson - 연산의 지식에 대한 우월성
핵심 명제
서튼의 ‘The Bitter Lesson’은 단순하지만 강력한 주장을 담고 있다. 연산을 활용하는 것이 사람의 구체적인 지식을 활용하는 것보다 장기적으로 우월하다는 것이다. 그리고 연산을 활용할 수 있는 최고의 방법은 **학습(Learning)과 탐색(Search)**이다.
AI 역사를 돌이켜보면, 연구자들은 특정 문제를 풀기 위해 인간의 지식과 휴리스틱(Heuristic)을 시스템에 주입하려 시도해왔다. 체스 AI에는 체스 전략을, 음성인식에는 언어 구조에 대한 지식을 넣으려 했다. 이러한 접근은 단기적으로는 효과가 있었지만, 장기적으로는 누적적인 발전을 이루지 못했다.
반면 하드웨어의 발전으로 증가한 연산력을 활용하는 접근법은 꾸준히 누적적인 성능 향상을 보였다. 이것이 씁쓸한 교훈이다. 우리가 문제를 “이해”하고 있다고 착각하여 그 지식을 시스템에 주입하려는 시도는, 연산을 활용한 학습과 탐색보다 효과적이지 않았다.
딥러닝 시대에도 반복되는 패턴
이 패턴은 딥러닝 시대에도 계속된다. 객체 검출(Object Detection) 분야를 예로 들어보자. 연구자들은 다양한 해상도의 정보를 결합하고, 작은 객체와 큰 객체를 각기 다른 해상도에서 처리하는 등 수많은 아이디어를 제안했다. 이러한 연구는 수만 편에 달했다.
그러나 현재 가장 효과적인 방법은 무엇인가? 멀티모달 LLM에 이미지를 주고 텍스트 생성으로 객체의 좌표를 출력하게 하는 것이다. 모든 복잡한 구조와 도메인 지식 없이 말이다.
OCR(광학 문자 인식) 분야도 마찬가지다. 텍스트 검출, 인식, 의미 파악, 정보 추출이 각각 개별 모델로 존재했고, 각 모델을 개선하는 수많은 방법이 있었다. 그러나 지금은 멀티모달 LLM에 이미지를 넣고 “필요한 정보를 추출해줘”라고 요청하는 것이 가장 효과적이다.
테슬라의 Full Self-Driving도 같은 사례다. Andrej Karpathy가 합류하기 전, 시스템은 온갖 휴리스틱과 룰의 집합체였다. Karpathy는 이를 단일 모델의 러닝 프로시저로 전환하고 연산 자원을 투입했고, 문제가 극적으로 개선되었다.
두 가지 패러다임의 충돌
서튼이 생각하는 진정한 학습
서튼이 LLM을 비판하는 핵심 논리는 명확하다. 에이전트는 목적을 가지고 세상과 직접 상호작용하며 학습해야 한다는 것이다. 환경과의 상호작용을 통해 피드백을 받고 학습하는 것이 진정한 학습이며, 이것이 바로 The Bitter Lesson에서 언급한 “학습”이다.
반면 LLM의 프리트레이닝(Pretraining)은 다음 토큰 예측(Next Token Prediction)에 불과하다. 모델이 목적을 가지고 있지도 않고, 어떤 액션이 올바른지 아닌지에 대한 구분도 없다. 단지 “이 액션을 취해라”만 알려주는 모방학습(Imitation Learning)일 뿐이다.
더 나아가 서튼은 인터넷 데이터를 사용하는 것 자체가 인간의 지식을 모델에 주입하는 시도라고 본다. 그가 The Bitter Lesson에서 비판했던 바로 그 접근법이라는 것이다.
서튼의 도발적인 질문은 이것이다: “인터넷이 없었다면 우리는 AGI에 대해 전혀 할 수 있는 게 없었던 것인가?” 인터넷 없이는 불가능한 방법이 좋은 방법이냐는 반문이다.
인간은 모방학습을 하지 않는다
서튼의 또 다른 주장은 인간은 모방학습만 하지 않는다는 것이다. 설사 모방학습이 있다 하더라도, 그 방법은 행위자 스스로 찾는다. 그러나 LLM에 대해 우리가 하고 있는 것은 그 방법을 모델에게 계속 알려주고 있다는 것이다.
이 부분에서 많은 이들이 혼란을 느꼈다. 서튼은 구체적인 구현 방법을 제시하지 않고 원칙만 이야기하는 것처럼 보였기 때문이다. 그러나 서튼과 Yann LeCun 같은 연구자들은 어떤 인지 기능이 어떤 형태로 구현되어야 한다는 생각을 가지고 있는 것으로 보인다. 예를 들어, 생성 모델을 쓰면 안 된다는 식이다.
동물에서 인간으로 vs. 인간에서 동물로
AGI에 접근하는 두 가지 근본적으로 다른 패러다임이 존재한다.
패러다임 1 (서튼, LeCun): 쥐와 같은 단순한(기본적인) 동물의 인지 능력에서 시작하여, 그것을 발전시켜 인간에 도달한다. 쥐 수준에 도달하는 것은 어렵지만, 일단 도달하면 거기서 인간까지 가는 것은 상대적으로 쉬울 것이라는 관점이다.
패러다임 2 (LLM): 인간이 누적한 가장 고차원적인 능력, 즉 언어에서 시작한다. 더 정확히는 인간이 문명을 발전시키며 만들어낸 언어적 인공물(Artifact)에서 시작하여, 역방향으로 더 기본적인 인지 능력을 향해 간다.
서튼과 LeCun의 눈에는 LLM 접근법이 완전히 반대 방향으로 가는 것처럼 보인다. 그들은 “언어를 통해 동물의 인지적 능력을 모사할 수 있는가?”라는 질문에 회의적이다.
진화의 시간 스팬을 볼 때, 동물에서 인간으로의 발전이 단세포에서 동물로의 발전보다 훨씬 짧았다. 따라서 동물 수준의 지능을 만들면 인간까지는 금방일 것이라는 논리다. 그러나 이는 또한 하나의 가정일 뿐이다.
목적, 학습, 그리고 그 너머
목적 지향적이지 않은 학습
목적 지향적 학습을 강조하는 서튼의 관점에 대해, 다른 시각도 가능하다. 목적에서 자유로운 학습도 존재한다는 것이다.
예를 들어, 미로에서 목적지를 찾아가다가 중간에 재미있는 장소나 풍경을 발견했다고 하자. 그것은 목적지를 찾는 것과는 무관한 정보지만, 우리는 그것을 기억한다. 나중에 그 장소를 찾아가는 것은 훨씬 쉬워진다. 이는 에피소딕 메모리(Episodic Memory)와 레이턴트 러닝(Latent Learning)의 개념에서 나온다.
물론 이것도 “흥미로움”이라는 리워드를 정의하여 목적으로 만들 수는 있다. 그러나 굳이 그렇게 고안하지 않더라도, 단순히 경험을 저장하는 것만으로 비슷한 효과를 얻을 수 있다. 목적이라는 개념을 계속 확장하면, 결국 그 단어가 가진 명료성을 잃게 된다.
리버설 커스(Reversal Curse)와 컨텍스트
LLM의 흥미로운 현상 중 하나가 리버설 커스다. “마이클 패러데이는 전자기 유도를 발견했다”를 학습하면, “마이클 패러데이가 발견한 것은?”에는 답할 수 있지만, “전자기 유도를 발견한 사람은?”에는 답하지 못한다.
이는 2023년경 발견된 문제인데, 아직도 완전히 해결되지 않았다. 그러나 흥미롭게도, 맥락(Context)을 주면 풀 수 있다. “마이클 패러데이는 전자기 유도를 발견했다”라는 문장을 컨텍스트로 주고, “전자기 유도를 발견한 사람은?”이라고 물으면 답할 수 있다.
이것이 시사하는 바는 무엇인가? 모델은 지식을 가지고 있다. 그 지식을 인출(Retrieval)해서 컨텍스트에 넣으면 문제를 풀 수 있다. 이는 RAG(Retrieval-Augmented Generation)나 모델 자체가 암기한 것을 생성하여 다시 활용하는 방식과 연결된다.
추론(Reasoning) 패러다임과 결합하면 더욱 흥미롭다. 추론 과정에서 모델이 필요한 정보를 생성하거나, 도구를 사용하여 문서를 가져올 수 있다. 이렇게 되면 리버설 커스 문제가 프리트레이닝에서는 풀리지 않았지만, 추론 패러다임에서는 풀릴 수 있다.
많은 것을 기억하는 것 자체는 문제를 직접 풀지 못하는 것처럼 보이지만, 그 기억을 활용할 수 있을 때 가능성이 열린다. 이는 탐색(Exploration)과 활용(Exploitation)의 문제로 귀결된다.
인간의 학습은 더 복잡하다
서튼이 생각하는 것보다 인간의 인지와 행동은 훨씬 더 다양하고 복잡할 수 있다. 제한된 합리성(Bounded Rationality) 개념에서 볼 수 있듯, 인간은 모든 것을 경험하고 학습할 수 없기에 휴리스틱을 사용한다.
또한 인간은 모방도 많이 한다. 심지어 효과가 없는 것까지 모방하기도 한다. 성공적인 결과가 있으면 그 이전의 모든 행동까지 똑같이 따라 하는 경향이 있다. 의식(Ritual)이나 루틴(Routine)이 그 예다.
B.F. Skinner의 행동주의 실험을 보면, 비둘기가 강화학습을 통해 버튼 누르기를 학습할 때, 버튼을 누르기 전의 불필요한 행동들까지 함께 학습하는 경우가 있다. 완전히 비효율적인 강화학습이다.
반면 인간이라면? 버튼을 눌렀더니 먹이가 나왔다면, 즉시 “아, 버튼을 누르면 먹이가 나오는구나”라고 추론할 것이다. 이는 단순한 강화학습이 아니라, 이전 경험과 추론 능력을 활용한 학습이다.
인간의 학습은 강화학습이라는 단일 메커니즘으로 포착되지 않는 다양한 전략을 사용한다. 물론 강화학습은 인간에게도 강력한 메커니즘이지만(중독이 그 예다), 그것만으로는 인간의 학습을 설명할 수 없다.
RLVR - 검증 가능한 보상
RLHF의 한계
RLHF(Reinforcement Learning from Human Feedback)는 다음과 같이 작동한다: LLM이 여러 응답을 생성하면, 사람이 선호하는 것을 선택한다. 그리고 선호되는 응답에 높은 점수를 주어 그것을 생성하도록 RL을 한다.
문제는 사람이 모든 응답을 직접 평가할 수 없기에 리워드 모델(Reward Model)을 학습시킨다는 점이다. 이 리워드 모델은 사람의 선호를 학습한 모델이고, 이 모델이 주는 점수를 최대화하도록 학습한다.
여기서 **리워드 해킹(Reward Hacking)**이 발생한다. 모델은 실제로 좋은 응답을 하는 것이 아니라, 리워드 모델을 속여 높은 점수를 받는 방법을 학습한다. 긴 응답이 선호되는 경향이 있으면 불필요하게 긴 응답을 생성하거나, 아첨하는 응답을 생성하는 식이다.
RLVR의 핵심 아이디어
RLVR(Reinforcement Learning from Verifiable Rewards)의 기본 아이디어는 간단하지만 강력하다: 정답인지 아닌지를 검증할 수 있는 보상을 사용한다.
수학이나 코딩은 정답 여부를 평가할 수 있다. 물론 완벽하지는 않지만, 핵심은 이것이다: False Positive Rate이 매우 낮다. 즉, 틀린 답인데 정답이라고 판정하는 경우가 거의 없다.
룰 기반(Rule-based) 검증 도구를 보면, 정답인데 틀렸다고 하는 경우(False Negative)는 꽤 많다. 하지만 틀린 답인데 정답이라고 하는 경우(False Positive)는 극히 드물다.
이것이 리워드 해킹을 방지한다. 모델이 틀린 추론 과정으로 검증기를 속여 보상을 얻는 것을 막을 수 있다. 일반화 불가능한 방법들(암기, 잘못된 추론)이 억제되고, 일반화 가능한 올바른 패턴들이 부각된다.
추론과의 결합 - 진짜 혁명
RLVR의 진정한 혁명은 추론 패러다임과의 결합에서 온다. 해킹 불가능한 보상과 함께, 모델이 제약 없이 스스로 탐색할 수 있게 하는 것이다.
이전 시도들, 예를 들어 “Let’s Verify Step by Step” 같은 연구는 각 단계를 평가했다. 문제는 “단계”를 정의해야 한다는 것이다. 줄바꿈을 단계로 볼 것인가? 이는 문제 풀이 과정에 형식을 부여하는 것이다.
이렇게 되면:
- 융통성이 없어진다 (모델이 여러 줄에 걸쳐 문제를 쪼갤 수 없다)
- 탐색 공간이 제한된다 (잘못된 방향으로 가는 시도가 차단된다)
- 탐색 과정 자체가 학습에 도움이 될 기회를 잃는다
인간이라면 자연스럽게 하는 것을 생각해보자: A라는 방법을 시도했다가 안 되면, “A는 안 되는구나, 그럼 반대 방향인 B를 시도해볼까?”라고 생각한다. 이러한 탐색 과정 자체가 문제 해결에 도움이 된다.
RLVR+추론은 모델에게 제약을 풀어준다. 어떤 형식으로든 추론 과정을 생성할 수 있게 하고, 최종 정답만 검증한다. 이것이 메타 CoT(Meta Chain-of-Thought) 같은 개념과 연결된다.
프리트레이닝과 RLVR의 시너지
최근 논문에서 흥미로운 주장이 나왔다: 프리트레이닝과 RLVR이 결합했을 때 왜 이렇게 효율적인가?
문제를 푸는 두 가지 방법이 있다고 하자:
- 일반화 불가능한 방법: 암기. 이 적분 문제의 정답은 이거야.
- 일반화 가능한 방법: 알고리즘적 추론. 적분은 이 단계들을 거쳐 풀어야 해.
프리트레이닝 단계에서는 일반화 불가능한 패턴이 대부분이다. 인터넷 문서는 정답만 딱 갖다 놓는 경우가 많다(퇴고 과정을 보여주지 않는 시인처럼). 모델은 이것을 막 외운다.
하지만 일반화 가능한 패턴도 드물게 존재한다. 문제를 단계별로 풀어낸 설명도 인터넷에 있다. 단지 확률이 매우 낮을 뿐이다.
해킹 불가능한 RLVR을 적용하면: 일반화 불가능한 패턴은 새로운 문제에서 오답을 내놓으므로 억제된다. 반면 일반화 가능한 패턴은 정답을 내놓으므로 강화된다. 드물지만 묻혀있던 좋은 패턴이 순식간에 부각된다.
프리트레이닝은 방대한 데이터에 묻혀있는 좋은 요소들을 제공하고, RLVR은 그것을 드러나게 한다. 추론은 모델이 그 요소들을 연결하여 일반화 가능한 알고리즘을 실행할 기회를 제공한다.
차세대 패러다임을 향하여
제일 원리에서 시작하기
“제일 원리(First Principles)“라는 표현이 여기서 의미하는 바는 무엇인가? 제품 개발에서는 “제품이 어떻게 생겨야 하는가”가 아니라 “사용자의 니즈가 무엇인가”에 집중하는 것을 의미한다.
AI 개발에서는: 구체적인 구현 방법이 아니라, 필요한 기능 자체에 집중하는 것이다.
예를 들어 지속학습(Continual Learning), 환경으로부터의 피드백, 내적 동기(Intrinsic Motivation) 같은 기능들을 생각해보자. 이 기능들을 구현하는 방법은 매우 다양할 수 있다:
- 인컨텍스트 러닝(In-Context Learning)
- 별도의 메모리 모듈
- 도구 사용(Tool Use)
- 멀티 에이전트(Multi-Agent)
제일 원리에서 시작한다는 것은: 이 문제가 어떻게 풀려야 한다는 선입견 없이, 문제 자체에 집중하고, 열린 마음으로 해결 방법을 탐색하는 것이다.
서튼과 LeCun은 방법에 대한 강한 선호가 있는 것처럼 보인다(프리트레이닝과 생성 모델을 피하려는). 반대편 극단에는 “지속학습이 왜 필요해?”라고 묻는 사람들도 있다.
중간 지점이 더 나은 접근일 수 있다: 지속학습 같은 문제는 중요하다. 그러나 그것을 어떻게 해결할지는 다양한 가능성을 열어두자.
생성 모델은 유용한 도구일 수 있다
생성 모델과 인간은 분명 다를 수 있다. 하지만 생성 모델은 우리가 목적을 달성하는 데 유용한 도구일 수 있다.
Andrej Karpathy의 표현을 빌리면, 생성 모델은 “진화의 역사를 대략 모방하는 것”이다. 물론 진화와 생성 모델은 완전히 다르다. 하지만 생성 모델은 진화가 제공하는 프라이어(Prior), 즉 사전 지식이나 밑바탕을 제공할 수 있다.
생성 모델은 데이터에서 최대한 많은 정보를 추출하는 강력한 도구다. 비효율적일지 몰라도, 우리가 가진 도구 중 가장 좋은 것이다. 데이터의 확률분포를 모델링함으로써, 그 데이터가 담고 있는 패턴과 구조를 학습한다.
제일 원리에서 시작한다면: 이것이 충분히 유용한 도구라면 사용하는 것이다. 이것이 절충안이다.
유령을 만드는 일
Karpathy는 “우리는 동물을 만드는 게 아니라 유령(Ghost)을 만든다”고 표현했다. 이는 방향이 반대라는 의미다.
서튼과 LeCun은 쥐를 만들자고 한다. 동물 수준의 인지에서 출발하자는 것이다. 하지만 LLM은 동물을 만드는 게 아니다. 인간의 언어적 인공물에서 시작한 이상한 존재, 인간을 닮았지만 동물적이지 않은 존재를 만든다.
유령은 인간처럼 보이고 말하지만, 존재 양식과 행동 방식은 완전히 다르다. LLM은 그런 의미에서 유령이다. 인간을 닮은 이상한 존재를 만들어, 그 유령을 통해 지능을 향해 간다.
알파고(AlphaGo)와 알파제로(AlphaZero)의 비유가 적절하다. 알파제로는 인간의 기보 없이 스스로 학습했다(서튼이 선호하는 방향). 알파고는 인간의 기보로 학습했다.
그러나 인간의 기보로 학습했다고 해서 알파고가 인간처럼 바둑을 둔 것은 아니다. 그 기반 위에 강화학습을 결합했을 때, 이미 인간을 초월할 수 있었다. 매우 유용한 접근법이었다.
제일 원리, 즉 지능이라는 것에 집중하면, 다양한 도구를 사용할 수 있다. 유령도 불러낼 수 있다. 유령 에이전트를 만들 수도 있다.
OOD 문제와 학습의 통합
가장 큰 난제: Out-of-Distribution
LLM을 통한 AGI에 대해 가장 큰 문제는 무엇인가? 아웃 오브 디스트리뷰션(Out-of-Distribution, OOD) 문제다.
Karpathy의 최근 경험이 좋은 예시다. 그는 NanoChat이라는 독특한 코드를 개발하면서 AI 에이전트를 거의 사용하지 못했다고 한다. 모델이 학습하지 않은 이질적인 코드에 대해 에이전트가 다 망가졌다. 사용 가능한 것은 오토컴플릿 정도였다.
전형적인 OOD 문제다. 그리고 이는 두 축이 있다:
- 공간적: 인터넷 데이터에 포괄되지 않은 현재의 패턴들
- 시간적: 언어와 환경은 계속 변화한다. 새로운 라이브러리, 새로운 프레임워크가 계속 생긴다.
OOD 일반화는 머신러닝의 고질적 문제다. 지금까지 거의 진전이 없었다. Inductive Bias 같은 것이 필요할 수 있는데, 이는 요즘 AI 연구자들이 싫어하는 단어다.
현재의 대안은 프리트레이닝이다: OOD를 아예 없애버리면 되지 않냐? 전부 다 학습시키면 되지 않냐? 하지만 이는 OOD 문제의 해결이 아니다. OOD를 안 만들려는 시도일 뿐, OOD가 생기면 똑같은 문제가 발생한다.
학습이 에이전트의 일부가 되어야 한다
서튼이 작년에 발표한 논문 “The Enormous World Hypothesis and Artificial Intelligence”에서 언급한 것처럼: 세계의 변화가 에이전트보다 훨씬 크다면, 에이전트는 무엇을 해야 하는가?
계속 학습해야 한다. 변화하는 세상에 맞게.
이것이 중요한 통찰이다: 학습이 에이전트를 만들기 위한 전 단계가 아니라, 에이전트의 일부가 되어야 한다. 지속학습은 이런 맥락에서 의미를 가진다.
지금까지 패러다임은: 모델을 학습시켜 잘 준비한 다음, 이 모델로 문제를 푼다. 학습은 도구다.
미래의 패러다임: 학습 자체가 문제를 푸는 도구다. 에이전트는 학습 능력을 갖추고, 계속 학습하며 문제를 풀어간다.
복잡다단하고 계속 변화하는 세상에서, 고정된 모델로 모든 것을 풀 수 있을까? 학습 능력을 갖춘 에이전트만이 이 문제를 풀 수 있다.
이런 측면에서, 서튼이 강조한 학습과 탐색은 여전히 중요한 키워드다. 비록 “학습”의 정의에 대해서는 혼란이 있지만.
인간도 다양한 전략을 사용한다
인간은 모든 것을 직접 경험하고 학습할 수 없다. 따라서:
- 휴리스틱을 사용한다: 완전히 정확하지 않지만 대체로 맞는 직관적 전략
- 모방을 한다: 남들이 하던 대로. 심지어 효과 없는 것까지 모방한다
- 편향을 가진다: 기본적으로 특정한 것을 선호하는 경향
B.F. Skinner의 비둘기 실험을 보면, 비둘기는 버튼을 누르면 먹이가 나온다는 것을 강화학습으로 배운다. 하지만 때로는 버튼 누르기 전의 불필요한 행동(춤추기 등)까지 학습한다.
인간이라면? 버튼을 눌렀더니 먹이가 나왔다면, 즉시 추론한다: “버튼을 누르면 먹이가 나오는구나.” 이전 경험과 추론을 사용한 학습이다.
인간의 학습은 훨씬 다양한 전략을 쓴다. 단일한 “목적에 따른 환경 피드백 기반 학습” 그림에 너무 천착할 필요는 없다.
물론 이 모든 것을 보상과 의도의 측면으로 통합할 수는 있다. 하지만 그렇게 통합하면 “의도”와 “목적”이라는 단어의 명료성을 잃게 된다.
전망: 다음 3-4개월, 그리고 그 너머
현재 패러다임의 정점
앞으로 3-4개월, 늦어도 내년에는 현재 패러다임(추론 + RLVR)의 정점이 보일 것으로 예상된다. 그 정점이 얼마나 높을지는 알 수 없다. 하지만 정점은 생각보다 빨리 올 것이다.
그 결과는? 잘 모르겠다. 좋을 수도, 기대에 못 미칠 수도 있다. 하지만 이 패러다임으로 어디까지 갈 수 있는지는 거의 가늠될 것이다.
한 가지 우려는 복잡성의 증가다. 점점 더 복잡하고 다양한 문제를 풀게 하다 보니, 모델 개발의 복잡성이 너무 높아지지 않을까? 프론티어 랩들이 이 복잡성을 어떻게 다룰지가 흥미롭다.
연산의 활용
Sam Altman은 어마어마한 양의 컴퓨트를 모으고 있다. 하지만 컴퓨트를 실제로 활용할 수 있는가는 별개 문제다.
이것도 The Bitter Lesson과 관련된다. 연산이 증가했으면, 그것을 활용할 방법을 찾아야 한다. 프리트레이닝으로 무한정 연산을 쓸 수는 없다. 명백한 한계가 있다.
그리고 전형적인 딜레마: GPU 1개보다 100개가 있다고 속도가 100배 빨라지지 않는다. 실제로 활용 가능한 연산에는 제한이 있다.
그들은 연산을 효과적으로 활용할 방법을 찾았는가? 그 방법이 RL일 수도 있고, 다른 방법일 수도 있다. 이것이 흥미로운 관전 포인트다.
과학 도메인의 정복
현재 프론티어 랩들(DeepMind, OpenAI 등)이 집중하는 도메인은 과학이다. 물리, 화학, 생물. 인류가 아직 하지 못한 발견을 풀어내겠다는 기대.
이를 위해서는 다른 order of magnitude의 컴퓨테이션이 필요할 것이다. 그래서 하드웨어 투자가 계속 늘어난다. 그들은 우리가 보지 못한 희망적 신호를 보고 있을 것이다.
점근선은 올 것인가?
성능 향상 곡선이 꺾이면, 점근한다고 할 수 있다. 만약 점근선이 보이기 시작하면, 회의론이 불거질 것이다. “거품이다”라는 이야기도 나올 수 있다.
반대로, 놀랍게도 점근선이 오지 않고 계속 갈 수도 있다.
예측: 현재 패러다임은 정점에 도달할 것이다. 하지만 그 정점은 사람들이 생각하는 것만큼 낮지 않을 것이다. 그리고 그 이후, 패러다임 전환이 필요할 것이다.
그 다음 패러다임이 무엇일까? 모른다. 지속학습, 환경과의 상호작용, 내적 동기 같은 것들일 수도 있다. 하지만 한계까지 가봐야 다음 풍경이 보인다.
클라크의 세 가지 법칙
Arthur C. Clarke의 세 가지 법칙으로 마무리하고자 한다:
제1법칙: 저명한 노과학자가 무언가가 가능하다고 말하면, 그것은 틀림없이 옳다. 무언가가 불가능하다고 말하면, 높은 확률로 틀렸다.
서튼에게 적용해보면:
- 가능하다고 한 것: 학습과 탐색을 통해 만들어진 에이전트가 지능에 도달하는 길이다 → 옳다
- 불가능하다고 한 것: 생성 모델이나 LLM은 그 길이 아니다 → 틀렸을 수 있다
제2법칙: 가능성의 한계를 발견하는 유일한 방법은, 불가능한 데까지 실제로 가보는 것이다.
LLM이 로컬 미니마일 수도 있다. 하지만 끝까지 가봐야 안다. 불가능하지 않았다면, 로컬 미니마가 아니었다면, 거기서 발견하는 것은 놀라울 것이다.
제3법칙: 충분히 발전한 기술은 마법과 구별할 수 없다.
만약 LLM을 통한 AGI가 가능하다면, 그것은 유령이기에 더욱더 마법과 구별할 수 없는 존재가 될지도 모른다.
결론
The Bitter Lesson은 단순한 기술적 주장을 넘어, AI 연구의 철학적 방향성에 대한 질문을 던진다. 서튼의 비판은 LLM 커뮤니티에 찬물을 끼얹었지만, 동시에 중요한 성찰의 기회를 제공했다.
현재 우리는 두 갈래 길 앞에 서 있다:
- 동물에서 인간으로: 기본적 인지 능력에서 시작하여 인간 지능으로
- 인간(의 인공물)에서 동물로: 언어에서 시작하여 기본 인지 능력으로
어느 길이 옳은가? 아직 모른다. 어쩌면 두 길 모두 가능할 수도 있다. 제일 원리에서 시작하되, 방법에 대해서는 열린 마음을 가져야 한다.
RLVR과 추론의 결합은 강력한 가능성을 보여주었다. 하지만 OOD 문제, 지속학습, 환경과의 상호작용 같은 근본적 과제들이 여전히 남아있다.
앞으로 몇 달, 우리는 현재 패러다임의 정점을 목격하게 될 것이다. 그 정점이 어디인지, 그리고 그 너머에 무엇이 있는지는 직접 가봐야 알 수 있다.
한 가지는 확실하다: 탐색과 학습, 연산과 스케일링, 그리고 열린 마음. 이것들이 우리를 다음 단계로 이끌 것이다. 유령이든 동물이든, 어떤 존재가 나타나든, 그 여정은 계속된다.