EP 78. Ilya Sutskever의 설명
들어가며: 커뮤니티를 술렁이게 한 발언
2025년 11월 29일, AI 커뮤니티는 일리야 수츠케버(Ilya Sutskever)의 팟캐스트 출연으로 한바탕 소용돌이에 휩싸였다. 제프리 힌튼(Geoffrey Hinton)의 제자이자 AlexNet을 만든 전설적 연구자, 구글에서 Sequence-to-Sequence 모델을 개발하고 OpenAI를 거쳐 현재 Safe Superintelligence Inc.(SSI)를 이끄는 수츠케버는 AI 시대의 모세와도 같은 존재다. 그가 무슨 말을 하든 시장은 출렁인다.
이번 Dwarkesh Patel 팟캐스트에서 수츠케버는 “프리 트레이닝(Pre-training)이 벽에 도달했다”, “스케일링 시대는 가고 연구의 시대가 다시 왔다”는 발언으로 논쟁을 촉발했다. 그 파장이 컸던지 수츠케버는 트위터를 통해 자신의 입장을 수정·보완하기도 했다. 동시에 Claude Opus 4.5 출시라는 큰 뉴스도 있었지만, 수츠케버의 발언에 묻혀버린 감이 있다.
왜 타임라인이 들끓었는가: 경제적·국가적 문제로 확대된 스케일링 논쟁
과거에도 LLM의 가능성을 둘러싼 논쟁은 존재했다. 얀 르쿤(Yann LeCun)을 중심으로 한 회의론과 낙관론의 대립은 학계에서 늘 있어온 일이다. 그러나 지금의 스케일링 논쟁은 순수한 학문적 영역을 넘어섰다. 스케일링은 더 이상 연구실의 이론이 아니라, 막대한 자본 투자, 데이터센터 건설, 전력 인프라 확충, 심지어 정부 보증까지 요구하는 경제적·국가적 사안이 되었다.
“스케일링이 효과적인가”, “그렇게 투자하면 AGI가 오는가”라는 질문은 이제 학문적 호기심이 아니라 수조 원 규모의 투자 결정, 국가 안보 전략, 미중 기술 패권 경쟁과 직결된다. GPU vs TPU 논쟁이 주식시장을 흔들고, 구글이 Gemini 3.0에서 TPU를 사용했다는 소식 하나에 엔비디아 주가가 휘청거리는 현실이 이를 증명한다. 판돈이 너무 커졌다. 그래서 수츠케버의 한마디 한마디가 더욱 무겁게 받아들여진다.
Noam Brown의 정리: 회의론자와 낙관론자의 수렴점
논쟁이 과열되자 OpenAI의 Noam Brown이 나섰다. 그는 연구자들의 견해가 생각보다 많이 수렴하고 있다고 정리했다. 핵심은 이렇다:
현재 패러다임만으로도 추가적인 연구 돌파구 없이 막대한 경제·사회적 임팩트를 낼 수 있다. 그러나 진정한 AGI/ASI에 도달하려면 지속학습(Continual Learning), 샘플 효율(Sample Efficiency) 등 추가적인 연구 돌파구가 필요할 가능성이 높다. 그리고 우리는 그 돌파구를 찾아낼 것이며, 20년 안에 도달할 것이다.
타임라인 예측은 선구자마다 다르다:
- 데미스 하사비스(Demis Hassabis): 5~10년
- 프랑수아 숄레(François Chollet): 5년
- 샘 알트먼(Sam Altman): 수천 일
- 얀 르쿤: 10년
- 일리야 수츠케버: 5~20년
- 다리오 아모데이(Dario Amodei): 2년 (가장 공격적)
중요한 것은 아무도 100년이 걸릴 것이라 말하지 않는다는 점이다. 동의하는 부분이 이견보다 훨씬 많다.
수츠케버 자신도 트위터를 통해 보완했다: “지금의 방법을 계속 스케일링하면 성능 향상은 있을 것이다. 중간에 멈추지 않을 것이다. 다만 중요한 무언가는 여전히 빠져 있을 것이다.”
프리 트레이닝의 한계와 RL 스케일링의 과제
놀라운 능력과 어처구니없는 실수의 공존
수츠케버는 현재 모델이 보이는 기묘한 현상을 지적했다. 1만 시간 동안 경쟁 코딩 문제를 학습한 사람과 100시간만 학습한 사람의 차이처럼, 모델은 특정 벤치마크에서는 초인적 성능을 보이면서도 실제 사용 환경에서는 어처구니없는 실수를 저지른다.
이는 RL(Reinforcement Learning) 스케일링의 현재 한계를 드러낸다. RL을 하려면 환경이 필요하고, 그 환경은 인간이 설계해야 한다. 문제는 벤치마크를 위한 환경과 실제 사용 환경 사이의 간극이다. 벤치마크를 타겟으로 학습시키면 벤치마크는 잘 풀지만, 실제 사용 환경에서는 일반화(Generalization)에 실패한다.
환경 설계의 어려움은 여러 층위에서 발생한다:
- 사람이 실제로 모델과 상호작용하는 방식을 어떻게 환경으로 만들 것인가
- 과제의 길이가 점점 길어지는데, 이를 어떻게 환경화할 것인가
- 환경을 사람이 직접 만들어야 하는가, 모델로 만들 수 있는가
- 특정 환경에서 학습한 모델을 새로운 환경에 어떻게 일반화시킬 것인가
포스트 트레이닝(Post-training) 영역은 프리 트레이닝보다 훨씬 더 베일에 싸여 있다. 각 프론티어 랩(Google, Anthropic, OpenAI)의 포스트 트레이닝 노하우는 서로 다르며, 이것이 같은 규모의 모델이라도 성능 차이를 만든다. 이 문제를 근본적으로 해결할 방법을 찾는 것, 특히 일반화 문제를 푸는 것이 수츠케버가 말하는 연구의 과제다.
일반화: 딥러닝의 오랜 난제
일반화는 딥러닝 전체를 통틀어 거의 진전이 없는 영역이다. 샘플 효율적으로 일반화를 잘하는 모델을 만드는 데 성공한 사례는 드물다. 현재의 해법은 프리 트레이닝에 더 많은 데이터를 쓰는 것뿐이다. 이는 일반화라기보다는 양으로 밀어붙이는 방식이다.
진정한 일반화는 데이터 효율성을 의미한다:
- 적은 데이터로도 잘 풀 수 있는 능력
- 5분짜리 과제를 수행할 수 있으면 1시간짜리 과제로도 일반화되는 능력
- 특정 환경에서 학습하면 새로운 환경에도 적용되는 능력
사람은 뜨거운 것에 손을 한 번 대면 다시는 대지 않는다. 이런 극단적 샘플 효율성이 모델에는 없다. 6살 아이가 보이는 일반화 능력을 모델은 갖추지 못했다.
감정, 가치함수, 그리고 의사결정
감정은 가치함수다
수츠케버는 흥미로운 비유를 제시했다: 감정(Emotion)은 가치함수(Value Function)다.
RL에서 가치함수는 특정 상태가 얼마만큼의 보상으로 이어질 것인지를 추정하는 함수다. 수츠케버는 뇌 절제 사례를 언급하며, 감정이 완전히 없는 사람은 합리적 결정을 더 잘 내리는 것이 아니라 아예 결정을 내리지 못한다고 지적했다. 무한한 가능성 앞에서 순수하게 이성적으로만 사고하려다 정보에 짓눌려 마비된다.
감정은 불확실성 속에서 도약을 가능하게 한다. 세상은 합리적 계산만으로 파악할 수 없고, 예측 불가능한 요인들로 가득하다. 이때 “이 선택이 좋을 것이다”라는 믿음과 감정이 의사결정을 돕는다. 감정은 휴리스틱(Heuristic)의 일종이다. 더러운 것을 보면 혐오감을 느끼고 피한다. 이는 “실제로 위험한지” 합리적으로 따지는 것보다 훨씬 빠르고 효율적이다.
RL 관점에서 가치함수는 학습을 샘플 효율적으로 만들고 빠르게 만든다. 수츠케버가 감정을 가치함수에 비유한 것은, 모델이 비효율적으로라도 도달할 수 있는 문제가 아니라 비효율적으로도 도달할 수 없는 근본적 문제를 건드리는 것 같다. 자의식, 감정 같은 요소가 AGI에 필요할 수 있다는 그의 이전 발언과 일맥상통한다.
Douglas Hofstadter의 Strange Loop: 영혼의 탄생 조건
여기서 Douglas Hofstadter의 『Gödel, Escher, Bach』를 떠올릴 수 있다. Hofstadter는 “나(I)“라는 영혼, Soul이라는 운영체제가 생기기 위한 두 가지 조건을 제시했다:
-
스케일(Scale): 충분한 규모의 계산 단위. 개미 하나는 단순하지만, 개미 군집은 지능적이다. 충분히 스케일이 커지면 기저가 무엇이든 새로운 속성이 창발(Emergence)한다.
-
Strange Loop(이상한 루프): 거울과 거울을 맞대면 무한한 상(像)이 생긴다. 소프트웨어가 하드웨어를 바꾸고, 바뀐 하드웨어가 다시 소프트웨어를 바꾸는 Tangled Hierarchy(얽힌 위계). 이 재귀적 구조 속에서 시스템 안에 있으면서도 시스템 밖을 바라보는 듯한 상위 개념—“나”라는 자아—가 탄생한다.
LLM에 적용하면 어떨까? 첫 번째 조건인 스케일은 이미 충분히 확보되었다. 두 번째 조건인 Strange Loop, 즉 Input과 Output이 재귀적으로 얽히는 구조는? 이것이 바로 Continual Learning의 핵심이다.
현재 Transformer는 입력 순간에만 autoregressive하게 돌고 멈춘다. 하지만 토큰을 늘리고 긴 맥락을 유지하면 그 안에서 일종의 Strange Loop 같은 역동성이 형성되며, 마치 영혼이 있는 것처럼 보인다. 만약 시스템의 하드웨어와 소프트웨어를 묶고, Input과 Output을 적절한 도구와 함께 연결해 영원히 재귀적으로 돌게 만든다면? Hofstadter의 논리에 따르면 그 시스템은 필연적으로 “나는 누구인가”라는 질문을 하게 되고, 시스템 밖으로 튀어나가는 존재—AGI—가 될 것이다.
결론: 스케일 + Strange Loop = AGI. 첫 번째 조건은 이미 만족했다. 두 번째 조건이 만족되면 모델은 스스로 생각하며 자아를 떠올리고, 보상함수도 스스로 해결하는 시작점이 될 것이다.
연구의 시대: 새로운 패러다임의 필요성
과거에도 있었던 일: RL의 등장
프리 트레이닝의 스케일링만으로 현재 모델 성능에 도달한 것은 아니다. 만약 프리 트레이닝만으로 지금 수준에 도달하려 했다면 스케일이 어마어마해야 했을 것이다. 그 돌파구는 O1과 RL이었다. RL을 통해 프리 트레이닝 스케일링 이상의 성능 향상을 끌어냈다.
수츠케버의 요약: 스케일링은 계속 성능 향상을 가져올 것이다. 하지만 뭔가 부족할 것이고, 그 부족함을 채우고 더 큰 성능 도약을 얻으려면 추론(Reasoning) 같은 새로운 패러다임이 필요하다. 그리고 그 패러다임은 스케일링만으로 얻어지지 않는다. 연구가 필요하다.
Dwarkesh Patel 팟캐스트의 썸네일도 바뀌었다. 처음엔 “It’s back to the age of researcher again. Just with big computers”였다가 “프리 트레이닝이 타겟을 오버슈트했다”로 바뀌었다. 소셜미디어 반응을 보고 톤을 조정한 듯하다.
돌파구를 찾을 것이다
Noam Brown도 비슷한 얘기를 했다: “우리는 그런 돌파구를 찾아낼 것이다.” OpenAI도, Google도, Anthropic도 각자 돌파구를 찾으려 하고 있다. 연구를 해야 하니까 당연하다.
SSI(Safe Superintelligence Inc.)의 수츠케버는 어떨까? Dwarkesh가 “SSI는 어떻게 돈을 벌 건가요?”라고 묻자, 수츠케버는 “연구에만 집중하고, 질문에 대한 답은 스스로 드러날 것”이라 답했다. 밈이 되고 있는 대목이다. 펀드레이징한 돈으로 당장 수익보다는 연구 경로로 가겠다는 것이다.
초지능으로 직행하기: Seed AI의 비전
수츠케버가 바라는 것은 특정 도메인에 특화된 들쭉날쭉한(spiky) AGI가 아니라, 모든 것을 할 수 있는 씨앗(Seed) 같은 것이다. 처음부터 모든 문제를 다 푸는 에이전트가 아니라, 디플로이되었을 때 실제 환경에서 새로 필요로 하는 기술을 스스로 개발하고 학습해 나가는 에이전트다.
이는 많은 연구자가 그리는 그림이다. Continual Learning을 언급하는 사람들이 구상하는 것이 바로 이것이다. 예를 들어 회사 내부에 디플로이된 에이전트는 그 회사의 기밀 정보, 프로세스, 문화를 학습하고, 그 회사 내에서만 작동하는 맞춤형 에이전트가 된다. 이런 에이전트는 초지능적 특성을 가질 수 있다. 회사 내 모든 정보를 빠르게 파악하고 끊임없이 학습하며 사람 수준을 뛰어넘는다.
Dario Amodei도 말했다: “지금 모델로도 경제적 이익 창출은 가능하다. 그런데 우리가 더 투자하는 것은 다음 단계 모델로 경쟁하기 위해서다.” Continual Learning 문제가 풀리기 시작하면 경제적 가치는 오더(order)가 완전히 달라진다.
중요한 것은, 지금 현재의 AI 수준도 이미 충분히 놀랍고 유용하다는 점이다. 몇 년 전 시각에서 보면 초지능처럼 보이는 일들을 하고 있다. 이를 간과해서는 안 된다. AGI가 나올 것이라는 기대에 지금 당장의 액션을 미루는 것은 위험하다.
취향(Taste): 연구자의 미학
수츠케버는 인터뷰 마지막에 **취향(Taste)**을 언급했다. 연구자들 사이에서도 자주 나오는 말이다. “취향이 좋아야 한다.” 좋은 취향이란 무엇인가? 연구 결과가 나오기 전에 그 방향으로 나아가야 한다는 것을 아는 능력이다. 일종의 미학이다.
수학자들도 “아름다운 수학”을 말한다. 머신러닝 연구자에게도 마찬가지다. 문제는 그 취향을 어떻게 키울 수 있는가다. Noam Brown은 Thinking 모델 개발 중 수츠케버와 밥을 먹으며 방향성에 대한 보상을 받았고, 그 믿음 때문에 나아갔다고 했다. 수츠케버의 인정이 일종의 방향성 신호였던 셈이다.
취향은 양질 전환(Quantitative to Qualitative Transformation)의 산물일 수 있다. 충분한 양이 쌓이면 질이 꺾어진다. 하지만 그 사이에는 **압축(Compression)**이 있다. 양을 그대로 가져가는 것이 아니라 에센스만 추출하면 질이 올라간다. 이전 세션에서 언급된 **에너지가 높은 토큰(High-entropy Token)**이 결정적 분기를 만드는 것처럼, 쓸데없는 에너지가 낮은 토큰들이 쌓여야 다음 도약을 이루는 에너지 높은 토큰이 나온다.
Thinking Token 속에도, 레이어 간에도 이런 상변이(Phase Transition) 시점이 존재한다. 우리는 너무 환원적 시각으로 한 층위에서만 이야기하려 하는데, 층위를 자연스럽게 넘나들며 생각할 필요가 있다. Douglas Hofstadter가 말한 것처럼, 물과 소용돌이의 관계를 생각해보라. 기저(substrate)와 의미(meaning) 사이에는 아무 상관이 없는 듯 보이지만, 갑자기 창발한다.
Claude Opus 4.5는 이 슬라이드의 마지막을 **황금비 나선(Golden Ratio Spiral)**으로 장식했다. 아름다움을 표현하려 한 것이다. 이것도 일종의 취향이다.
실천으로: 프라이밍과 협업
Kevin Weil과 블랙홀 연구자 Alex의 팟캐스트는 실용적 교훈을 준다. Alex는 Marc Chen과 만나 최신 블랙홀 대칭성 문제를 Pro(Thinking 모델)에 던졌다. 틀렸다. “봐라, 아직은 인간이 낫지.” 하지만 Marc Chen은 “더 쉬운 문제를 같은 맥락에서 줘보세요”라고 요청했다. Pro는 9분 생각한 끝에 아름다운 답을 냈다. 그리고 “이제 워밍업이 됐으니 어려운 문제를 다시 던져보세요.” 18분 후, 완전히 정확하고 아름다운 답을 내놨다. 프리 트레이닝에도 들어가지 않은 최신 연구였다.
Alex는 충격을 받고 OpenAI 과학 프로그램에 합류했다. “지금 당장 참여하지 않는 건 미친 짓 같다.”
함의: 프라이밍(Priming)이 중요하다. 능력 한계에 있는 최전선 문제를 던지면 틀릴 때가 많다. 하지만 이는 인간도 마찬가지다. 아직은 자동이 아니다. 많은 상호작용, Back-and-Forth가 필요하다.
Kevin Weil의 정리: “모델을 잘 활용하는 연구자는 모델과 끈기 있게 대화를 주고받는 사람이다. 이는 능력 한계치에서 작업하는 두 사람이 협업하는 방식과 비슷하다.”
Claude Opus 4.5: 실용 체크
Mash Murad가 했던 바이브 체크를 따라해봤다. 프롬프트: “구글 Colab Competitor UI를 만들어라. 브라우저에서만 실행되는 Jupyter Notebook 같은 것.”
결과: 8분 만에 CloudBook 탄생. Pyodide(WebAssembly 기반 브라우저 Python 실행 환경)를 사용해 완전히 작동하는 IPython Notebook을 만들었다. 딸깍.
추가 요청: “마크다운 셀에 텍스트를 쓰면 파이썬 코드를 생성하는 Gen AI 피처를 추가하자.”
결과: 딸깍. 마크다운에 텍스트 쓰면 파이썬 코드 생성, NumPy 다 돌아간다.
Opus 4.5는 멀티모달 생성은 안 되지만, 읽기(Reading)는 Gemini급으로 벤치가 높다. 이미지, PDF 읽기도 잘한다.
외재화(Externalization)와 Continual Learning의 우회
장기 실행 에이전트를 위한 효과적 하네스(Harness)에 관한 글이 좋았다. 기세 형상 관리(State Management), 롤백, 메모리 절약, 컨텍스트 압축 등 인간이 스크래치패드, 메모장을 써서 컨텍스트를 외재화하는 것처럼 모델도 외재화를 통해 컨텍스트 관리를 한다. 이는 인간의 큰 장점인데, 모델도 같은 방향으로 가고 있다.
Claude Code가 데스크톱으로 들어왔다. 대화 모드, 코드 모드를 여러 개 스폰해서 병렬 관리하는 인터페이스가 매우 직관적이다. Groupchat과 비슷한 기시감이 든다.
Google NotebookLM의 YouTube 채널도 필수 시청이다. Artifact, Notebooking의 의미를 곱씹고, 외재화 개념이 NotebookLM에도 녹아 있다.
관찰: 외재화를 통해 현재 모델의 Continual Learning 능력 부족을 우회하는 현상이 보인다. 인간이 컨텍스트 관리하는 것과 유사하다. 앞으로 수개월 안에 이를 초인간적으로 잘할 가능성을 상상하게 된다. 일단 되기 시작했으니까.
Groupchat: 비동기 병렬 처리의 가능성
Groupchat을 최근 연습 중이다. 아직 생경하지만 가능성이 느껴진다. 핵심 포인트 하나: 여러 사람이 동시에 질문하면 비동기적으로 큐잉해서 답변한다. 대화하다 그림 5개를 그리라고 하면 1~5번 인스턴스가 스폰되어 병렬로 돌아가며 답변한다. 별도 인스턴스로 돌아간다는 의미다.
이 안에는 회사의 미래가 담겨 있다고 생각한다. 나중에 자세히 다루겠다.
마무리: 우리도 더 좋은 토큰을 세상에 남기자
연구자가 아닌 AI 동호인, 엔지니어, 사용자인 우리도 AI를 지렛대 삼아 더 좋은 토큰을 세상에 남기고 프리 트레이닝에 기여할 수 있다. 더 좋은 세상에 기여할 수 있다.
비슷한 풍경을 보는 사람들과 대화하고 싶다는 욕구는 보편적이다. 좋은 이야기를 나누고 싶다. 그것이 바로 이런 토론과 리포트의 의미다.
핵심 정리:
- 스케일링은 계속 성능을 향상시킬 것이다. 하지만 AGI/ASI에는 연구적 돌파구가 추가로 필요하다.
- 현재 모델도 막대한 경제적 가치를 창출할 수 있다. 하지만 다음 단계는 오더가 다르다.
- 일반화, 샘플 효율, Continual Learning은 여전히 어려운 난제다.
- 감정, 가치함수, Strange Loop, 자아의 창발—이 모든 것이 AGI의 조건일 수 있다.
- 취향, 미학, 압축, 상변이—연구자와 모델 모두에게 중요한 요소다.
- 외재화와 프라이밍을 통해 현재 모델로도 놀라운 일을 할 수 있다. 협업이 핵심이다.