EP 69. 지금, AI 최전선의 방향—프런티어의 바깥에서 프런티어를 이야기하기

프런티어 바깥에서 프런티어를 논하는 의미

2025년 9월 20일, 네이버 하이퍼클로버에서 AI 엔지니어로 일하고 있는 김성현 연구자가 새로운 호스트로 합류하여 AI 프런티어 랩들의 최전선에서 일어나고 있는 일들에 대한 통찰을 공유했다. 프런티어에 대해 정확하게 이야기할 수 있는 것은 프런티어에 있는 사람들이지만, 정작 그들은 현재 무슨 일이 일어나고 있는지 명확히 밝히지 않는다. 하지만 문제의 방향성을 파악하는 것 자체는 의미가 있다.

작년 Q*(큐스타) 논란을 되돌아보면, 당시 대부분의 AI 업계 사람들이 Q-learning과 AlphaStar 알고리즘의 결합일 것이라 추측했지만 거의 다 틀렸다. 유일하게 맞는 이야기를 했던 사람들은 Demis Hassabis 같은 프런티어에 있는 연구자들이었다. 그들은 “서치(Search)하면 안 돼, 서치 말고 아래를 해”라고 말했지만, 당시에는 많은 이들이 그 조언을 믿지 않았다. 하지만 그런 추측들이 완전히 무의미했던 것은 아니다. 추론(Reasoning)이 중요하다는 자극을 제공했고, 1년간 수많은 시도 끝에 결국 R1이라는 방법을 찾아냈으며, 그것이 맞는 방법임이 확인되었다. 따라서 추측은 틀릴 수 있지만, 문제의 방향에 대해 생각해보는 것은 의미가 있다.

추론과 에이전트의 시대

현재 프런티어 빅테크들이 중요하게 생각하고 있는 문제는 거의 자명하다. 그들이 어디에 돈을 쓰고 있는가, 어떤 데이터를 모으는가, 어떤 작업들을 하는가를 보면 명확하다. 추론(Reasoning)과 에이전트(Agent)의 시대라는 것은 거의 분명하다. 이 무게감은 사람들이 생각하는 것보다 훨씬 클 수 있다. 멀티모달(Multimodal) 같은 문제들조차도 내려놓고 추론과 에이전트에 집중하고 있는 것처럼 보인다. Anthropic 같은 경우는 멀티모달 문제를 내려놓고 추론과 에이전트에 거의 올인하는 평가가 많다. 중국의 Moonshot, DeepSeek 같은 기업들도 멀티모달이 아닌 추론과 에이전트를 가장 중요하게 생각하고 있다는 평들이 많다.

텍스트 vs 이미지: 데이터의 질적 차이

이는 보통 사람들의 생각과는 다르다. 일반적으로는 멀티모달 문제, 시각처리(Vision) 문제가 풀려야 에이전트에 도달하고 지능이 높아질 것이라 생각한다. Yann LeCun이나 Fei-Fei Li 같은 비전 쪽 학자들도 그런 주장을 계속해왔다. 텍스트는 현실 세계에 존재하는 이미지의 모든 정보를 포착하지 못하기 때문에 한계가 있다는 것이다.

하지만 프런티어 빅테크에 있는 사람들과 AI 연구자들의 관점은 다르다. 그들은 언어(Language)를 훨씬 중요하게 생각한다. AI 역사 초반부터 지금까지 많은 사람들이 이미지나 텍스트를 똑같이 그냥 데이터일 뿐이라고 생각하는 경향이 있었다. 텍스트에 대해서 BERT나 GPT가 성공을 거뒀으니 이미지에 대해서도 Supervised Learning을 학습시키면 텍스트에서 할 수 있는 것을 할 수 있을 것이라 생각했다.

하지만 생각보다 많은 사람들이 지금 동의하고 있는 것은 텍스트와 이미지는 다르다는 것이다. 그리고 텍스트가 어마어마하게 강력한 데이터라는 것이다. 웹 텍스트(Web Text)에 대해서 Pre-training을 한다는 것은 굉장히 많은 과제(Task)에 대해서 학습을 하는 것과 비슷하다. 한 번에 수없이 많은 과제를 웹 텍스트 학습으로 학습할 수 있다. 하지만 웹 이미지나 웹 영상에 대해서는 이런 일이 잘 일어나지 않았다.

텍스트 데이터는 세 가지 특성이 있다:

1. 이해(Understanding)의 발생: 텍스트를 Unsupervised 학습했을 때 생성뿐만 아니라 이해가 발생한다. 다음 토큰을 예측하는 것이 이해와 연결된다. 이전의 맥락을 주었을 때 그 맥락에 부합하는 나머지 부분들을 생성할 수 있게 되는 특성이 발생한다. 어떤 맥락에 부합해서 행동을 한다면 그 행위자는 그 맥락을 이해한다고 표현할 수 있다.

2. 인간과의 정렬(Alignment): 텍스트는 기본적으로 사람이 만들고 발명한 것이기 때문에 텍스트에 대해서 학습하면 인간의 관점과 성향과의 정렬이 자연스럽게 일어난다. 이미지는 촬영자의 의도가 포함되기는 하지만 상당 부분이 자연에 그저 존재하는 측면에 가깝다. 그 자연에 존재하는 측면을 인간의 의도나 관심과 정렬시키는 것은 상당히 어렵다. 인간은 이미지를 이해할 때도 굉장히 기호적(Symbolic)인 방식으로 이해한다. 예를 들어 사람의 눈이나 얼굴을 그려보라고 하면 아몬드처럼 생긴 눈, 동그란 얼굴, 세모 형태의 코처럼 기호화된 형태로 그린다. 하지만 실제 이미지 데이터를 보면 인간의 얼굴은 그렇게 생기지 않았다. 굉장히 복잡 미묘하고 다양한 형태의 모양들을 갖고 있다.

3. 지능과의 근접성: 텍스트 데이터가 100이라고 했을 때 100 중 100이 다 필요한 데이터라면, 이미지는 100 중 5나 10 정도만이 우리가 요구하는 데이터일 수 있다.

따라서 많은 회사들이 텍스트에 대해서 갈수록 더 중요하게 생각하고 더 집중하고 있다. 그래서 추론과 에이전트, 특히 텍스트를 통한 추론과 에이전트가 갈수록 더 중요하게 여겨지고 있는 상황이다.

추론(Reasoning)의 정의

여기서 말하는 추론은 Reasoning이다(Inference가 아니다). Inference라는 것 자체도 단어의 오용이긴 하다. 통계적 추정에서의 Inference가 아니라 현재 보통 AI 모델에 대해서 Inference라고 하면 텍스트를 생성하는 과정, 텍스트를 생성해서 서비스를 하는 과정을 얘기한다. 그 Inference는 Decoding이나 Sampling이라고 표현하는 것이 더 정확하다.

Reasoning(추론)이란: 어떤 최종적인 답안을 생성하기 전에 그 이전의 사고와 생각하고 비슷한 텍스트 생성을 통해서 최종적인 답변을 준비하는 과정을 거친다는 것을 말한다. 좀 더 구체적으로는, 그 중간에 생성되는 결과가 특히 강화학습(Reinforcement Learning)을 통해서 학습되는 것을 표현한다. 이전의 Chain of Thought와의 중요한 차이점은, Chain of Thought는 그 내용이 강화학습으로 학습되지 않았다는 것이다. 그때는 사람이 어떤 식으로 생각을 하라고, 어떤 식으로 텍스트를 생성해서 답을 하라고 직접 학습을 시키거나 가이드를 줬다. 지금 추론은 기본적으로 그 생각이 모델이 알아서 발견하는 쪽에 가깝다. 그게 중요한 차이다.

방법의 시대에서 평가의 시대로: The Second Half

야오슌유(Yao Shunyu, OpenAI 연구자였다가 최근 Tencent로 이직)가 “The Second Half”라는 표현을 쓴 적이 있다. 후반전이라는 의미다.

First Half(전반전) - 방법의 시대: 문제는 고정되어 있었다. 이미지 분류, 객체 검출, 텍스트의 정서 분류 같은 문제들. 그 문제를 풀기 위한 방법을 찾아다니는 시대였다. 수많은 아키텍처도 만들고 어떻게 학습시켜야 되는지 알고리즘도 찾는 문제였다.

Second Half(후반전) - 평가의 시대: 야오슌유가 주장한 것은 “방법의 시대는 끝났다. 방법은 찾았다. 우리는 일반화 가능한 방법을 찾았다. 그래서 문제를 찾아다녀야 하는 시대다”라는 것이다. 그리고 그 문제를 찾아다닌다는 것은 평가(Evaluation)를 찾아다녀야 한다, 평가를 만들어야 되는 시대라고 표현한다. 더 현실의 문제와 관련된, 더 현실의 가치와 경제적 가치와 관련된 어떤 능력을 평가하는 평가 과제를 만들어야 된다는 것이다. 그리고 그 평가를 만들 수 있다면, 평가할 수 있는 문제는 뭐든지 무엇이든 풀 수 있다는 어마어마한 자신감을 보인다.

관점의 전환: Hallucination 논문 사례

이런 관점적 전환의 사례가 최근 OpenAI에서 나온 Hallucination 논문에서 나타난다. 그 논문의 내용 자체는 이전 Hallucination 연구들의 발전에 가깝지만, OpenAI가 Hallucination을 언급하면서 보인 관점이 흥미롭다.

• Pre-training 단계에 대해서: Hallucination이 발생한 이유를 굉장히 이론적으로 설명한다. Calibration이 되어 있고 데이터에 단 한 번만 나타나는 사실은 Hallucination이 발생할 수밖에 없다는 등의 이론적 설명을 제공한다.

• Post-training(정렬) 단계에 대해서: Hallucination에 대해 방법적인 얘기를 전혀 하지 않는다. 대신 평가 문제만 얘기한다. 평가가 Hallucination에 대해서 인센티브를 주기 때문에 Hallucination이 발생한 거라고 얘기한다. 평가의 인센티브가 Hallucination을 발생시키는 원인이라고 표현한다. 답을 말하는 데에 인센티브가 있어서(찍어서라도 맞으면 좋으니까) 그쪽으로 인센티브가 간다는 것이 주요 발상이었을 것이다.

관점이 많이 바뀌었다. 평가 문제다. 평가가 결국 학습을 결정하는 문제라는 형태의 사고의 전환이 일어나고 있다.

찾은 방법: 강화학습(RL)

전반전과 후반전을 가르는 제일 큰 차이는 방법을 찾았다는 것이고, 그 방법이란 **강화학습(Reinforcement Learning, RL)**이다. 평가가 가능하다면 평가 결과를 보상(Reward)으로 해서 모델을 강화학습 시킬 수 있고, 그러면 모든 문제가 풀린다는 아이디어가 깔려 있다.

환경 스케일링(Environment Scaling)

그렇다면 평가와 RL이 어떤 형태로 구현되는지를 생각해볼 수 있다. 이를 **환경 스케일링(Environment Scaling)**이라고 표현한다.

RL의 기본 구조

RL에서 가장 기본적인 그림을 생각하면:

• 어떤 행동을 하는 에이전트(Agent, 행위자)가 있고
• 그 행동의 대상이 되는 환경(Environment)이 있다
• 에이전트가 환경 안에서 어떤 행동을 하고
• 환경이 변화하고 환경이 변화하는 것이 새로운 상태(State)가 되고
• 보상(Reward)이 주어진다

환경의 세 가지 요소

1. 지시(Instruction): 사람의 지시가 있다. “어떤 웹앱을 만들어라” 같은 지시.

2. 환경(Environment): 그 지시를 수행할 수 있는 환경이 주어진다. 웹앱을 개발할 수 있는 개발 환경, 쉘(Shell), VM 인스턴스 같은 것들이 필요하다.

3. 보상 메커니즘(Reward Mechanism): 모델이 개발을 끝냈을 때 개발 결과에 대해서 보상을 주어야 한다. 이것이 소위 Verifiable(검증 가능한) 보상이라고 표현하는 것이다. 웹앱 개발이라고 하면 개발 결과에 대해서 유닛 테스트(Unit Test)를 한다든지, 유닛 테스트들의 목록 같은 것들이 보상을 제공해 줄 수 있는 메커니즘이 된다.

이 세 가지가 결합되어서 환경을 이룬다. 이 세 가지가 결합된 환경의 다양성을 늘리는 것, 이 환경을 최대한 많이 만드는 것이 환경 스케일링이다.

RL Gym: 강화학습 체육관

이 작업들을 많은 기업들이 실제로 하고 있다고 알려져 있다. 최근 The Information 기사에도 나왔는데, **Reinforcement Learning Gym(강화학습 짐)**이라고 해서 강화학습을 할 수 있는 체육관을 만드는 회사들이 지금 많이 있다. 그 회사들이 빅테크와 연계해서 강화학습을 할 수 있는 환경들을 제공하고 있다.

실용적으로는 다음과 같은 작업들을 한다:

• 지시를 만들고
• 지시를 실행할 수 있는 환경을 디자인하고
• 하니스(Harness)를 디자인하고
• 지시를 수행했을 때 보상을 줄 수 있는 정답을 주거나
• 유닛 테스트 같은 것을 잔뜩 만들거나

이런 것들을 계속 늘려나가는 작업들을 지금 회사들이 하고 있다. 이게 가장 중요한 문제다.

왜 이게 가능해졌는가

RL을 좀 더 친숙한 사람들이 가장 처음 생각했던 의문이 “왜 이게 되지?”였다고 한다. RL 측면에서는 굉장히 가혹한 조건이다. 수행에 대한 행동의 길이는 그냥 긴데 보상은 가장 마지막에 0과 1로만 주어지는 것이다(맞았다, 틀렸다).

가장 큰 차이점은 언어를 통해서 Pre-training이었다는 것이다. 사람들이 많이 발견하고 있는 것 중 하나가 Reasoning의 길이는 굉장히 긴데 거기서 실제로 결정적인 토큰들은 그에 비해서는 굉장히 적다는 것이다.

엔트로피(Entropy): 결정적으로 분기하게 되는 토큰들은 수천 토큰 내에서도 몇 토큰이 안 되고, 그 나머지 토큰들은 거의 자동적으로 결정된다. 그 부분의 토큰들은 예측이 너무나 쉽기 때문에 그렇게 중요한 부분이 아니고, 실제로 탐색해야 되는 토큰들은 몇 토큰 안 된다. RL의 관점에서는 그 몇 토큰에만 집중하면 되는 것이다. 그렇기 때문에 문제가 훨씬 쉬워진다.

이 문제를 훨씬 쉽게 만들어주는 게 어마어마한 규모의 Pre-training이다. 어떤 텍스트 시퀀스 내에서 대부분의 텍스트는 그냥 아주 자연스럽게 가볍게 예측을 해버리고 가장 중요한 부분들에만 집중할 수 있게 만들어주는 것이다.

DeepSeek이 발견한 것 중 하나는 RL이 가능하려고 하면 모델이 굉장히 크고 강력해야 된다는 것이었다. 그리고 모델이 그냥 크고 강력했을 때 그 모델이 기본적인 부분들, 훨씬 예측 가능하고 자동적으로 수행할 수 있는 부분들을 처리해주기 시작하면서 RL이 가능해졌다. 이런 가혹한 형태의 RL이 성립할 수 있게 되었다.

환경 스케일링의 의미

만약에 모델이 현실에서 실제 가치 있는 문제, 아니면 아예 현실의 문제 자체와 동일하거나 유사한 환경에서 학습된다면, 그렇게 학습된 모델은 현실의 문제를 풀 수 있는 능력을 학습하게 되는 것이다. 그러면 모델이 학습되면 제품이 거의 완성되는 것이라고 생각할 수 있다.

지금 수많은 환경들에 대해서 모델을 학습시키기 위해서 노력하고 있는데, 그 환경이 점점 더 발전하고 점점 더 실용적으로 의미 있는 현실의 문제와 가까워지면 가까워질수록 모델은 그 현실의 문제를 풀 수 있는 능력들을 확보해 나가게 되는 것이다. 그러면 그 현실에서 직접 투입되어서 사용될 수 있는 제품이 모델을 통해서 거의 완성된 것이라고 할 수 있다.

아마 이게 Claude Code라든지 Codex라든지 빅테크에서 에이전트를 학습시키는 과정에서 일어나고 있는 일일 것이다. Claude Code 같은 것도 일종의 환경이라고 할 수 있다. 코딩을 할 수 있는 도구들이 주어지니까 그 도구를 통해서 모델이 학습되게 되면 그 모델은 코딩할 수 있는 에이전트로서 능력을 거의 바로 갖추고 있는 상태인 것이다. 거기에 대해서 약간의 껍데기를 만들어주면 그게 제품이다. 지금 코딩에서 일어나고 있는 일이고, 다른 여러 가지 빅테크들이 관심 있는 문제에 대해서 비슷한 일이 일어나고 있다. 사무 업무 같은 것들을 모델이 그 자체로 에이전틱하게 해결하게 되는 것이다.

모델의 성능이 조금 떨어질 때는 여러 가지 하니스를 통해서 제품이 만들어지는데, 점점 더 이런 것들을 모델이 다 갖게 되면 모델 = 그대로 제품이라고 보면 된다.

당면한 문제들: 비용과 확장성

1. 환경 스케일링의 비용 문제

환경 스케일링을 해야 되는데, 환경 스케일링도 너무 비싸다. 아마 지금까지 AI, 머신러닝 모델을 만들면서 가장 비싼 형태의 데이터일 것 같다.

XAI의 튜터(Tutor) 고용 사례: XAI가 튜터라는 형태로 이런 형태의 인력들을 많이 고용하는데, 수학올림피아드 수상자들, PhD들이 자격 조건이다. 자격 조건부터가 심상치 않다. 예전에 데이터 레이블링을 하는 사람들이 해야 되는 레이블링의 자격 조건이 수학올림피아드 수상자, PhD들이다. 시간당 시급이 최대 100달러 정도라고 하는데, 사람들은 “수학올림피아드 수상자들을 100달러로 고용할 수 있어? 더 비싸게 불러야 될 것 같은데”라고 말한다.

데이터 레이블링 작업이라고 생각하면 이 비용이 엄청난 것이다. 그런데 이 환경 스케일링을 하면서 동시에 소수의 환경들에 대해서만 하는 것은 관심이 없다. 하나의 소위 **뾰족한 지능(Narrow Intelligence)**이 아니라 수많은 문제들에 대해서 탐구하고 싶어 한다. 수많은 환경에 대해서 학습을 시켜야 일반화가 잘 되지 않을까 생각할 수 있고, 그러면 그럴수록 비용이 더 커지는 것이다.

2. 환경의 합성(Synthetic Environment)

회사들이 시도하고 있는 것처럼 보이는 것이 모델을 통해서 환경을 합성(Synthesize)하고자 하는 방법들을 시도를 많이 하는 것 같다.

Kimi K2 사례: 도구 같은 것들을 가져왔을 때 이 도구를 사용하는 과정이라든지 도구를 실행할 수 있는 환경에 대한 시뮬레이터를 만들고 보상을 주고 하는 것들, 이런 부분들을 AI 모델로, LLM 모델로 할 수 있지 않을까 하는 것들을 많이 더 시도하고 있는 것 같다.

Alibaba 논문: 최근에 나온 Alibaba 쪽에서 나온 논문에서도 비슷하게 어떻게 도구들을 가지고 이 도구들을 실제로 실행할 수 있는 환경과 그 환경에서 수행할 수 있는 작업과 그 작업 결과에 대한 보상을 모델을 통해서 잘 만들면 만들 수 있지 않을까 하는 연구들을 많이 하고 있고 아마 실제 모델에서 적용도 많이 되고 있을 것이다.

한계: 한 가지 함정이 있다면 Kimi K2에서도 이 방법, 그러니까 환경을 합성하는 방법을 굉장히 중요하게 하나 가져가긴 했지만, 자신들이 중요하게 생각했던 문제들, 프로그래밍이라든지 코딩이라든지 이런 부분에 대해서는 결국 환경을 만들었다고 논문에서 밝히고 있다. 그래서 이 방법들이 계속 발전하고 있겠지만 어디까지 갈 수 있을지 이 부분들은 아마 앞으로도 계속 풀어야 될 문제일 것이다.

3. Verifiable vs Non-Verifiable 평가

Verifiable: 보통 어떤 좀 더 용이하게 검증 가능하다라고 표현해야 될 것 같다. 사람의 손을 타지 않고도 검증 가능하다. 보통 어떤 알고리즘이나 모델이 있어서 사람의 손을 거치지 않고도 그 모델을 태우면 이게 정답인지 아닌지가 나타나고 그 정답인지 아닌지가 거의 정확하다. 해킹의 여지가 없다. 이런 것들을 보통 Verifiable이라고 표현한다.

Non-Verifiable: 가장 가까운 문제들이 LMSYS 같은 데서 사람들이 채팅하면서 어떤 모델이 더 낫다 평가하는 것이다. 그 휴먼 이밸류에이션 방식의 평가 같은 것들이 Non-Verifiable에 가깝다.

Verifiable의 어려움들:

• 수학 같은 경우도 이것은 굉장히 사소한 문제인데, 같은 값도 여러 가지 방식으로 표현할 수 있다. 동등하지만 다른 조합들이 많이 있다. 미지수의 순서를 바꾼다든지, 정리를 얼마나 한다든지. 이 경우들을 대체로 대부분 커버해주려고 노력을 많이 한다. 그러면 이 수학 문제, 어떤 숫자로 나오는 정답 같은 것들을 검증하는 데에 대해서도 상당히 많은 휴리스틱과 알고리즘들이 들어간다.
• 수학에서도 수학의 모든 문제들이 대부분 숫자나 공식 하나로 떨어지는 문제는 아니다. 어떻게 보면 수학, 정말로 수학적인 문제는 증명을 하는 문제인데 증명을 어떻게 검증할 것인가? 굉장히 어려운 문제다.
• 열린 질문(Open-ended Question)들: 답이 없는 문제들. “앞으로 뭘 하고 싶니”, “앞으로 어떤 계획을 세우면 좋을까” 이런 질문들에 대해서 이런 질문에 대해서는 보상을 어떻게 줄 것인가.

4. 모델 기반 보상(Model-based Reward)

보통 답이 있다고 생각하는 문제들조차도 그 답을 검증하는 것은 쉬운 문제는 아니다. 그래서 이 부분에 대해서 생각보다 광범위하게 쓰이는 방법은 모델 기반으로 하는 것이다. 그래서 모델이 검증하게 하는 방법이다.

이게 추론 모델이 가능해지기 시작하면 굉장히 자연스럽게 따라오는 문제기도 하다. 추론 이전 모델들은 그렇게 신뢰롭지가 않았다. 이 답이 동일한 답인지 아닌지를 이 모델이 정말로 신뢰롭게 예측할 수 있을까라고 하면 좀 믿음직하지 않았다. 추론 모델이 어떤 형태로도 가능해지고 나서 검증할 수 있는 능력, 예를 들어서 수학 공식이라든지 공식의 동등성을 검증하는 이런 능력 같은 것들이 굉장히 신뢰로워졌다.

추론 모델을 보상을 제공하기 위한 모델로 사용하는 것이 굉장히 자연스러워졌다. OpenAI도 테크리포트에서 추론 모델을 보상 모델로 쓰고 있다는 것들을 언급한 적이 있고, ByteDance라든지 이런 회사들에 대해서도 추론 모델을 보상 모델로 사용하고 있고, 그 외에 많은 경우에서도 모델을 보상을 제공하기 위해서 많이 쓰고 있다.

5. 루브릭 기반 방법(Rubric-based Approach)

루브릭 스케일링(Rubric Scaling): 보상 모델에서 좀 더 나아가서 열린 질문에 대응하기 위한 방법들 중 하나다.

기존의 보상 모델: 가장 이전에 소위 RLHF라고 했을 때 그때 사용되었던 보상 모델들은 질문과 응답을 주고 응답이 어떤 응답이 나은지를 점수 하나로 체크하는 형태가 많았다. 그게 기본이었다.

루브릭 기반 보상: 좀 더 발전하면서 나타나는 것들이 어떤 질문에 대해서 그 질문에 대한 응답이 갖춰야 될 자격 조건들(정확해야 되고, 창조적이어야 되고, 좀 더 구체적으로 들어가면 포맷이 어때야 되고 이런 것들)이 있다. 이런 부분들에 대한 각 평가 항목들을 쭉 만들 수가 있게 됐고 그 평가 항목들을 보통 여기서 **루브릭(Rubric)**이라고 많이 표현을 한다.

열린 질문에 대한 적용: 열린 질문에 대해서도 이 루브릭 기반으로 접근할 수 있다. 열린 질문은 정답이 주어져 있지는 않지만 그 정답이 대충 어때야 되는지에 대해서는 평가 항목들을 만들 수 있다. 어쨌든 열린 질문이라고 해도 너무 허무한 소리를 하면 안 될 것이고 사실과 완전히 다른 얘기를 하면 안 될 것이다. 이런 형태의 지표들을 쭉 만들 수 있다. 그 지표들을 만들어서 이 지표들에 대해서 응답이 지표에 부합하는지 부합하지 않은지를 마찬가지로 모델로 평가해서 점수를 만들 수 있고 그 점수를 합산해서 보상을 줄 수 있다.

데이터셋 클렌징: Elon Musk가 All-In 팟캐스트에서 XAI에서 데이터셋 클렌징 하기 위해서 어떤 것들을 하고 있는지 보여줬는데, 이런 식으로 루브릭 베이스를 만들어서 한쪽은 점수를 매기는 것으로도 쓰고, 또 다른 한쪽에서는 원래 있던 데이터셋을 그런 루브릭 베이스로 더 좋은 데이터셋으로 Rewrite하는 것, 이런 것들도 많이 진행하고 있는 것 같다. Kimi에서도 Rephrase, Rewrite 그런 표현이 있었다.

생성과 검증의 갭: 좀 더 나아가서 생각해 보면 이 루브릭 같은 게 주어지고 루브릭에 대한 평가 점수가 있다고 하면 그 평가 점수, 평가 결과 같은 것들을 모델에게 주고 “이 평가 항목에서 이러이러한 부분이 부족한데 나머지 부분들을 채워서 다시 써” 이런 작업도 충분히 가능하다.

검증하는 건 쉬운데 그 검증 조건에 부합하는 걸 생성하는 건 어렵다. 그렇지만 검증이 가능하니까 생성할 수 있는 능력을 검증 능력을 통해서 계속 끌어올려 나가면 모델의 성능이 향상될 거다. 이런 기대를 할 수 있다. 예전부터 RL쪽 분들, John Schulman이라든가 Paul Christiano 이런 분들이 그런 얘기 계속 했던 것 같다.

6. 롱 컨텍스트(Long Context) 문제

롱 컨텍스트 문제와 결부되는 것은 에이전트로 가면 수행할 수 있는 작업의 길이가 늘어나는 것이고, 한 단계에 대해서 문제 하나 푸는 것에 대해서도 더 오래 생각할 수 있는 능력이 발생하는 것이다. 그 능력을 함양시키는 것이 중요한 문제, 당연한 문제라고 생각이 된다.

바늘 찾기(Needle in a Haystack)를 넘어서: 지금 롱 컨텍스트를 평가하는 가장 기본적인 방법 중 하나는 많은 경우에 예전에 긴 콘텍스트도 굉장히 장문의 텍스트를 주고 그 장문의 텍스트에서 어떤 항목이나 아이템 같은 것을 찾아내는 작업들을 많이 한다. 그래서 이걸 바늘 찾기라고 보통 표현하는데, 바늘 찾기를 잘하는 것을 넘어서 실제로 이 롱 컨텍스트를 마치 짧은 컨텍스트처럼 그 안에서 굉장히 효과적으로 추론할 수 있는 능력을 함양시키는, 실질적으로 롱 컨텍스트를 정말로 잘 다룰 수 있게 해주는 능력을 함양하는 게 중요하다는 얘기를 많이 한다.

일반화의 어려움: 이것은 굉장히 어려운 문제이다. 콘텍스트 길이에 대해서 이상적으로는 짧은 콘텍스트에 대해서 학습된 모델도 긴 콘텍스트에 대해서 일반화가 되면 좋을 텐데 굉장히 어려운 문제다. 수많은 사람들이 탐구를 하고 있지만 여전히 굉장히 어려운 문제다.

현재의 롱 컨텍스트 모델: 지금의 롱 컨텍스트는 그냥 짧은 콘텍스트로 학습한 모델이 롱 컨텍스트를 처리하도록 이렇게 Position Encoding 이런 것들만 해주는 것이지, 진짜 롱 컨텍스트 안에서 최적화하는 문제는 여전히 풀어야 할 문제로 남아있다.

점점 더 나은 방법이 나오고 있고, 단순히 바늘 찾기일 뿐이라고 표현하기는 것은 약간 오해가 있다고 생각하지만, 그렇다고 롱 컨텍스트에 대해서 숏 컨텍스트처럼 그런 형태의 추론, 확실한 엄밀한 추론이 그대로 작동하는가에는 약간 의문의 여지가 있다. 심지어 바늘 찾기조차도 보통 콘텍스트가 길어지면 성능이 떨어진다.

컨텍스트 엔지니어링(Context Engineering): Andrej Karpathy가 이 얘기를 했을 때 “아, 이 사람 또 바이브 코딩처럼 단어 하나 만들고 있네”라는 생각이 들었고, 그 역시나 컨텍스트 엔지니어링이라는 게 엄청난 화제가 되었다.

컨텍스트의 중요성: 어떤 작업을 수행하려고 하면 회사에서 회사 LLM을 통해서 업무를 지시하려고 하면 그 회사 업무와 관련된 수많은 컨텍스트들이 있고 맥락이 있다. 회사의 문서의 형태로도 남아있을 수도 있을 거고, 더 안 좋게는 그냥 회사의 사람들이 전통적으로 알고 있었던 암묵적, 묵시적 지식 같은 것들이 이 컨텍스트에 포함되어 있다. 그리고 그 컨텍스트가 있을 때에야만 사실 모델이 작업을 하는데 굉장히 큰 도움이 되고, 어떻게 보면 그럴 때에야만 작업이 가능하다.

컨텍스트를 일단 넣어주는 것 자체도 문제인데, 컨텍스트를 넣어줬다고 했을 때 그 컨텍스트에 들어가 있는 수많은 정보들을 잘 활용할 수 있는 능력이 모델에 갖춰져 있는가가 모델이 에이전트로서 활동하는데 굉장히 중요한 병목이라고 할 수 있다.

한 가지 힌트: 모델이 커지면 커질수록 이 문제가 좀 나아지는 것 같다. Pre-training의 규모가 커질수록 이 문제가 나아지는 것 같다는 얘기들을 많이 한다. Pre-training의 규모가 커질수록 모델이 커질수록 롱 컨텍스트 능력도 향상되는 것 같고, 그리고 수행할 수 있는 작업의 길이 자체도 계속 늘어나고 있는 것 같다. 그리고 추론이 결합되면서 더더욱 더 늘어나는 것 같다.

추론의 길이 문제: 한 가지 드는 생각은 최소한 추론의 길이와 관련해서는 이 문제가 풀리고 있는 건가 하는 생각은 든다.

• Noam Brown의 발언: 수학올림픽 International Mathematical Olympiad(IMO)를 풀었을 때 이 IMO를 푼 모델은, DeepSeek R1 같은 건 분 단위로 생각했지만 IMO 모델은 시간 단위로 생각한다고 얘기했다. 시간 단위로 생각하면 그 컨텍스트를 어떻게 관리하는지는 모르겠지만 어쨌든 굉장히 긴 컨텍스트를 어떤 형태로는 관리하고 있다는 걸 의미한다.

• ICPC 사례: ICPC(International Collegiate Programming Contest)로 지금 12문제를 다 풀었다고 한다. 인간 팀 1위 팀이 11문제를 풀었는데 12문제를 다 풀었다. 이게 5시간제이고 사람은 3명이 한 팀으로 참가를 한다. 성적표를 보면 위에 있는 숫자가 처음 풀어서 정답을 제출한 시간이다(5시간 제한이니까 300분 제한). 주황색 문제 같은 건 240분 시점에서 풀어서 제출하는 것이다. 아래에 있는 것들은 시도한 횟수다.

어떻게 풀었는지 정확하게는 모르겠다. 병렬적으로 풀었는지, 3개의 에이전트가 동시에 돌았는지, 직렬적으로 풀었는지. 어떻게 풀었다고 가정하더라도 사고의 시간, 문제를 풀어나가는 시간이 굉장히 길다는 추천을 하게 된다. 가장 짧은 것도 23분이다.

수행 능력의 시간 단위: METR에서 GPT-5가 50%가 2시간 40분인가 뭐 그랬다. 모델의 수행 능력이 아니라 인간의 수행 능력을 기준으로 했을 때 모델의 수행 능력이 지금 어쨌든 아워(Hour) 단위라는 것이다. 올해의 상황이 이게 점점 더 길어지고 있다. 실질적으로 모델이 실행하는 시간, 토큰을 생성하면서 사고하는 시간이 길어지고 있는 것 같다는 게 느껴진다. 그리고 어떤 형태로는 이걸 풀었다는 의미가 아닌가, 이런 컨텍스트 문제, 사고의 길이 문제를 푸는 의미가 아닐까 생각한다.

장시영(Zhang Shuyang)의 발언: 한 2~3년 이만 풀리지 않겠어요? 짧은 건 1년에 풀릴 것 같고 2~3년 정도면 풀리지 않을까요?

전망과 추측: 프런티어가 풀어야 할 여섯 가지 문제

여기서부터는 전망과 추측에 가까운 이야기들이다. 이 문제들을 어떻게 풀어나갈 것 같다, 그리고 이 문제들을 해소하기 위한 방법은 어떠한 방법일 것 같다는 얘기다.

이 아이템들은 가만히 앉아서 생각하다 보니까 이 문제를 풀어야 될 것 같다고 결론을 내린 건 아니다. 최근에 중국 쪽 팟캐스트를 몇 가지 봤는데:

• 장시영(Zhang Shuyang): 중국의 Stanford에서 유명한 비전 쪽에서 굉장히 유명한 과학자가 제기했던 이야기들
• 야오슌유(Yao Shunyu): 앞에서 말씀드렸던 OpenAI에서 The Second Half의 저자이면서 OpenAI에서 일하다가 최근에 Tencent로 이직한 사람이 팟캐스트에서 했던 얘기들

이들의 이야기를 종합해서 나오는 것이다. 흥미롭게도 야오슌유는 OpenAI 쪽이고 장시영은 중국 쪽의 Stanford 쪽 사람인데 그 사람들이 말하는 부분들이 상당 부분 겹친다. 어떻게 생각하면 이쪽 업계에서 프런티어에 가까운 사람들이 고민하는 문제가 실제로 이런 문제의 가능성이 있다고 생각이 되고, 그 안쪽 위너서클(Winner’s Circle)이라고 해야 될까, 그 안쪽에서는 일종의 합의, 컨센서스가 있는 문제일 수도 있겠다는 생각을 한다.

1. 자율학습(Autonomous Learning)

환경을 만들어주는 것의 한계: 저희가 환경을 만들어주는 건 모델이 학습할 수 있는 방법, 조건 같은 것들을 다 설계해서 모델한테 주는 것이다. 이러이러한 환경이 있을 때니까 이 환경에서 성공적인 결과를 낼 수 있도록 학습을 해, 세팅을 다 갖춰주는 것이다.

모델이 알아서 학습할 수는 없나? 예를 들어서 개발자라고 하면 모델이 알아서:

• 문서를 찾아보고
• 개발 환경을 스스로 세팅해서
• 자기가 스스로 실험을 해보고 만들어보고
• 만든 결과를 통해서 이게 좋은 것 같은데 별로인 것 같은데 이런 부분들을 알아서 보상을 받을 수는 없나

사람은 그렇게 학습을 하는 것 같으니까 실제 실험해 보고 스스로 환경을 만들어 나간다. 이걸 또 할 수는 없나?

2. 내적 보상(Intrinsic Reward)

가장 첫 단계로 나오는 게 내적 보상의 문제다. 환경을 만들어준다는 것은 외부에서 보상을 설계해서 보상을 주는 건데, 모델이 알아서 스스로 보상을 발견할 수는 없나? 그게 자율적 학습에는 가장 기본적으로 필요한 단계라고 할 수 있다.

장기 과제의 문제: 우리가 보상을 설계해서 준다고 생각할 때도 내적 보상이 없으면 어려운 경우가 있다. 아주 오랜 시간이 걸리는 과제들. 그 과제를 풀기 위해서 탐색하는 동안 사람은 수십 년 동안 탐색하기도 한다.

페르마의 마지막 정리(Fermat’s Last Theorem) 사례: 야오슌유 같은 경우는 페르마의 마지막 정리 같은 얘기를 했다. 그 마지막 정리를 풀기 위해서 물론 소소하게 보상이 아예 없었다고 말하기는 어렵다. 소소하게 어떤 새로운 정리를 만들어내기도 하고 정리가 증명되면서 그것들이 보상이 되기도 하고 있다. 저희가 보통 평가하는 방식으로 생각하면 가장 마지막에 최종적인 정리, 마지막 정리를 증명했느냐 아니냐만 가지고 보상을 준다. 근데 그렇다고 생각하면 그 수많은 과정 동안에는 보상이 존재하지 않았던 것이다. 그것은 몇 시간 정도를 넘어서 몇십 년이 될 수도 있다. 사람 인생 전체 동안에도 보상이 주어질 수도 주어지지 않을 수도 있다.

이런 문제에 대해서는 최종적인 보상뿐만 아니라 그 이전 단계에 보상을 줄 수 있는 방법이 있어야 하지 않을까. 거기에 대해서 마찬가지로 생각할 수 있는 것은 모델이 스스로 탐색해나가면서 보상을 발견하는 것이 답이 아님까.

인간적인 특성: 인간은 그런 일들을 한다. 놀랍게도 굉장히 흥미로운 지점인 것 같다. LLM과 인간의 차이를 생각하면서 인간의 학습은 어떻게 일어나는가, 인간은 어떤 능력을 갖고 있는가를 다시 생각해보게 한다. 물론 조심해야 될 게 그렇다고 해서 인간이 하는 방식으로 모델도 그 똑같은 방식으로 풀어야 된다는 건 아니다. 하지만 모델과 인간의 능력의 차이를 생각해보는 것은 의미 있는 일인 것 같다.

KPI를 넘어서: 다르게 표현하면 인간은 KPI만을 위해서 일을 하진 않는다. 인간이 하는 에이전트는 회사 안에서도 그렇다. 지금 모델은 약간 KPI만 가지고 살도록 학습을 시키고 있다면 그것보다는 더 나은 방식이, 더 나은 다른 보상은 있지 않을까 이런 생각을 하게 된다.

3. 피드백(Feedback) 문제

이 문제를 탐구하다 보면 피드백 문제를 생각하게 된다. 다양한 환경적 결과들. 모델에 대해서 루브릭 같은 것을 생각할 수 있는데, 사람은 자연어로 피드백을 줄 수 있다. 모델의 결과물에 대해서 모델이 장문을 냈다고 하면 그 장문에 대해서 “이런 이런 부분 좋다”, “이런 이런 부분 나쁘다”, 이런 평가들 같은 것들을 어떻게 습득할 수 있을까. 모델이 환경에서 행위하면서 이런 평가들을 어떻게 습득할 수 있을까.

습득했더라도 활용: 예를 들어서 자연어로 피드백이 들어왔다고 하면 이 피드백을 어떻게 모델 학습에 활용할 수 있을까. 지금 강화학습에서는 결국 모든 것을 루브릭 같은 형태로 다 점수화해서 스칼라 하나로 만든 다음에 그 스칼라로 보상을 준다. 이것보다 더 나은 방법이지 않을까. 이런 문제들이 따라서 날아오게 된다. 내적 보상을 얘기하다 보면 더 다양한 조건이나 환경적 상태에서 보상을 얻고 싶어지니까.

4. 온라인 학습(Online Learning)과 지속적 학습(Continual Learning)

이 문제를 생각하다 보면 온라인 학습과 지속적 학습이 따라 나온다. 이번에 Dhruba Basu(Anthropic)가 지속적 학습 얘기를 많이 해서 또다시 지속적 학습이 버즈워드가 되어버려서 약간 안타까운 점도 있는데, 앞선 문제들이 풀리면 온라인 학습과 지속적 학습을 탐구하지 않을 이유가 없기도 하다.

자율적 학습이 가능하다면: 모델이 만약에 자율적으로 학습할 수 있다, 환경에서 알아서 학습할 수 있다, 그러면 그냥 환경에 넣어보면 된다. 예를 들어서 모델을 환경에서 알아서 학습할 수 있다면 그냥 모델을 회사 안에 넣어보는 것이다. 그냥 회사 안에서 행위하게 해보는 것이다. 그럼 모델이 회사 안에서 행위하고 행위하면서 학습을 하겠다. 회사의 맥락들. 그러면 그건 온라인 학습일 것이다. 새로운 경우들을 습득하면서 그리고 계속해서 모델이 발전하고 지속적으로 계속해서 학습해나가겠다.

지금까지 접하는 에이전트와 완전히 다른 에이전트: 지금 에이전트는 맥락을 많이 넣어주는 점이 크다고 하면, 앞으로 이 자율적 학습이 가능한 에이전트는 그 맥락을 제시해 주지 않아도 모델이 알아서 구축해나가고 학습해나가겠다. 아직 SF의 영역인 것 같긴 한데 이게 달성 가능하다고 하면 이 에이전트는 굉장히 다른 형태의 존재로 느껴질 것 같다.

구현의 디테일:

• 모델의 가중치를 업데이트를 해야 되는가?
• 아니면 가중치 업데이트하는 것 없이 모델의 컨텍스트 안에 어떤 식으로 넣어주는 것만으로도 충분한가?

이건 아직 잘 모르는 문제다. 컨텍스트만 넣어주는 것만으로도 충분하다고 하면 훨씬 쉽게 풀리는 문제일 것이고, 가중치를 업데이트하는 게 필수불가결하다고 하면 문제의 난이도가 어려워질 것이다. 만약에 이렇게 되면 풀린다고 하더라도 이렇게 가중치를 업데이트해야 되는 시스템으로 어떻게 디플로이(Deploy) 할 것인가, 이게 대중적으로 디플로이가 가능한가 이런 문제에 대해서도 있다.

조직과 리더십의 대체: 어떻게 보면 지금 현재 상황에서는 프런티어 모델들을 가지고 몇몇 소수의 오케스트레이터 인간들이 조직 안에서 하고 있는 역할인데, 이제 그게 우리 인간이 가야 될 방향이 아니냐라는 이야기를 저희가 많이 하고 있었지만, 이제 그것마저도 모델이 하게 될 가능성도 사실은 있다. 훨씬 더 잘 할 것이다 사실. 이 문제가 만약에 정말로 탐구되는 문제고 만약에 풀린다고 하면 그 부분도 대체 가능해지겠다.

회사의 흥망성수에서도 이런 것들이 사실 조직 안에서 리더십 문제로 치환해서 많이 얘기한다. 똑같은 성능을 가진 사람들이 있는데 누가 이끄느냐에 따라서 전혀 다른 퍼포먼스를 내는데, 그 리더십이라는 게 어떻게 보면 목적을 세팅하고 지속적으로 학습하고 돌리는 그런 역할을 하는 사람들인데, 연결되어 있다는 느낌이 많이 든다.

5. 장기기억(Long-term Memory) 문제

앞에 있는 것들을 또 뒷받침하려고 하면 풀어야 되는 문제가 장기기억 메모리 문제다. 어쨌든 학습을 하건 작업을 하고 긴 형태의 작업을 하건 그런 것들이 필요하려면 어떤 형태로도 메모리가 필요하긴 하다.

메모리 구현 방법:

• 가중치 업데이트: 학습의 형태로
• 컨텍스트: 컨텍스트가 충분히 길어진다면 메모리가 그런 형태로 풀릴 수도 있다. 컨텍스트가 billion 단위가, 10억 단위가 된다면.
• 도구 사용: 메모장 같은 도구에 대해서 텍스트 형태로 메모리를 저장을 해놓는다든지, 데이터베이스에 넣을 수도 있고, 모델의 출력 결과를 임베딩 형태로 저장을 해놓을 수도 있고.

어떻게 풀지는 알 수는 없다. 풀 수 있을지는 알 수는 없지만 아마 이 모든 것들을 뒷받침하기 위해서 중요한 문제일 것이다.

6. 멀티 에이전트(Multi-Agent)

앞에 있는 이 모든 문제들이 여러 가지 발전의 방향이기도 하지만 서로 긴밀하게 얽혀 있는 문제라는 생각이 든다. 그래서 다 모두 연결되어 있는 문제라고 볼 수 있을 것 같고, 그런 의미로 생각해 봤을 때는 각각의 문제들이 풀린다거나 연구되고 있는 결과들이 개별적인 문제들뿐만 아니라 더 큰 문제의 일부분일 수도 있겠다는 생각을 하게 된다.

메모리 문제를 위한 멀티 에이전트: 한 가지 재밌는 방향이 메모리 문제를 위한 멀티 에이전트 시스템일 것 같다. 기억하는 문제와 기억을 통해서 사고 처리하는 문제들을 분리시키는 것이다. 다른 에이전트로.

Anthropic의 웹 검색 에이전트 사례: Anthropic 쪽에서 웹 검색 에이전트를 만들면서 만들었다고 하는 멀티 에이전트 시스템이다. 여기서 보면:

• 리드 에이전트(Lead Agent): 계획을 하고 수행을 하는 작업을 처리하는 에이전트들이 있고
• 그 안에 메모리도 연결되고
• 실제로 검색을 해서 문서를 읽어 와 가지고 거기서 정보를 추출하고 이런 에이전트들이 분리되어 있다

컨텍스트 관리: 이런 에이전트로 분리하면 얻을 수 있는 것이 가장 당면에서 얻을 수 있는 것이 컨텍스트 길이의 관리라고 표현한다. 검색해서 문서를 요약해서 필요한 정보만 빼오면 그 전체 문서들을 모두 컨텍스트에 다 넣어줄 필요가 없으니까. 가장 리드하는 에이전트, 메인 에이전트들은 훨씬 간결한 형태의 정보들만 달고 각 에이전트를 지휘하면 되는 것이다.

기존 멀티 에이전트와의 차이: 이전에 멀티 에이전트라고 하면 각 모델들을 프롬프트를 만들어서 서로 서로 조합하는 형태가 기본이었다. 그래서 학습이 일어나지는 않았다. 그런데 지금의 멀티 에이전트는 흥미로운 게 원칙적으로 학습이 가능하다. 각 에이전트가 LLM이라고 보면 LLM은 각각을 학습시키는 것뿐만 아니라 멀티 에이전트 시스템 자체를 학습하는 것이 이론적으로 가능하다. 강화학습을 통해서.

학습 가능한 멀티 에이전트의 의미: 가장 간단한 예를 생각해 보면 작업을 수행하기 위한 계획을 하는 에이전트가 있다고 하고 그 에이전트가 세부 작업, 문서를 읽어서 요약하는 에이전트를 호출한다고 생각을 해보자. 기존의 멀티 에이전트를 구현하는 방법은 계획하는 에이전트한테 프롬프트를 쭉 주고, 요약하는 에이전트한테 프롬프트를 쭉 주고, 그것들을 코드로 연결해 놓는 것이다. 여기서 학습은 전혀 일어나지 않는다. 사람이 만들어주는 것이다.

근데 지금 강화학습 패러다임 안에서는:

• 계획 에이전트가 요약 에이전트를 호출하는 것을 학습, 호출하는 방식을 그 호출 결과로 활용하는 방식을 학습시킬 수 있다
• 동시에 요약 에이전트도 계획 에이전트의 필요한 형태로 유용한 형태로 요약 결과물을 생성하는 것들을 학습시킬 수가 있다

그 도구가 에이전트가 되는 것이다. 그래서 개별 모델이 아니라 개별 에이전트의 관점이 아니라 멀티 에이전트라는 시스템을 학습하는 것이 가능해졌다. 이것도 연구가 많이 나오고 있다.

Noam Brown의 멀티 에이전트: 가장 최종적으로 이야기하면 멀티 에이전트다. 애초에 Noam Brown 같은 경우는 OpenAI 이야기가 멀티 에이전트 팀 안에 있다. 그래서 멀티 에이전트에 대한 얘기를 많이 하고 있는데 물론 거기서 뭘 하고 있는지는 얘기를 단서를 정해주지 않는다. 한 가지 얘기하는 건 지금까지 멀티 에이전트하고 접근하던 방법과 자신들의 멀티 에이전트 방법은 접근이 완전히 다르다. 이 얘기만 하고 있다.

과제의 폭(Breadth)을 넓힌다: 멀티 에이전트가 나오는 이유, 아이디어, 하나는 컨텍스트를 관리하는 방법. 이런 부분들은 소소한 부분 중 하나일 것 같고, 멀티 에이전트가 왜 해야 되는가에 대해서 얘기를 하면 과제의 폭을 넓힌다는 얘기를 많이 한다.

Windows나 Office 같은 프로그램 스위트 개발 사례: 그냥 복잡한 커다란 프로그램을 개발한다고 하면 지금 하나의 에이전트가 하는 일들은 어떤 느낌이냐면 그 커다란 프로그램 안에서 버그를 잡는다고 하면 그 버그를 잡을 때 굉장히 많은 시간이 걸릴 수도 있다. 그래서 굉장히 긴 시간의 추론을 통해서 버그를 잡는다. 이런 하나의 깊게 파고드는 작업들을 단일 에이전트를 통한 추론 모델들이 잘할 수 있는 것을 어필한다.

근데 멀티 에이전트로 넘어가면 수많은 에이전트들이 상호작용하면서 협업하게 되면 Office라는 프로그램 스위트 전체를 만들 수 있지 않겠느냐 이런 얘기를 한다. 그 프로그램 안에는 깊게 파고들어야 되는 문제들이 굉장히 다양하게 존재한다. Office라고 하면 Word를 만들어야 되고 Excel을 만들어야 되고 PowerPoint를 만들어야 되겠다. 그리고 그 안에서도 협업이 있어야겠다. 그런 형태로 수행할 수 있는 과제의 너비를 넓힌다. 너비를 스케일링한다. 이런 가능성으로서 멀티 에이전트를 얘기를 한다.

컨텍스트 처리: 그리고 그게 가능하다면 컨텍스트를 처리하는 것도 좀 쉬워지겠다. 에이전트들 사이에서의 상호작용은 전체 컨텍스트들과 오가는 것이 아니라 필요한 부분들을 상호작용하게 될 테니까.

인간 조직의 비유: 인간의 협업을 생각했을 때 뛰어난 사람들만으로 조직이 구성되는 것이 아니라, 그러니까 아인슈타인들만으로 조직 구성되는 것이 아니라 훨씬 더 평범한 사람들이 협업해서 굉장히 복잡한 작업들을 해내는 것을 봤을 때 멀티 에이전트가 그런 작업들을 모델이 해내는데 도움이 되는 경로일 거다.

스케일링의 새로운 축: 그렇게 됐을 때 스케일링 할 수 있는 하나의 축이 또 생기는 것이다. 하나의 에이전트가 사고하는 길이를 넓히는 것, 그것이 하나의 스케일링의 축이었다고 하면 그 에이전트의 수를 늘려나가는 것이 하나의 스케일링의 축이 되는 것이다.

학습 가능성의 질적 차이: 이전 슬라이드에서 언급했던 것처럼 이 멀티 에이전트가 학습이 가능하다. 일단 학습이 가능하다. 이것이 멀티 에이전트라는 패러다임에 대해서 굉장히 큰 차이로 만들 거라고 생각한다. 왜냐하면 학습할 수 있는 것과 학습하지 못하는 것은 엄청난 질적 차이가 있으니까.

Noam Brown의 행보: 올해 에코더(Coder)부터 ICPC까지 도장 깨게 했던 모델들을 만드는데 Noam Brown이 참여를 안 했다. Noam Brown은 다른 것을 하고 있었다. 원래 하던 것은 멀티 에이전트였다.

Fog of Progress: 진보의 안개

마지막으로 제목으로 돌아오면 Fog of Progress(진보의 안개). 이게 Geoffrey Hinton의 강의에서 가장 마지막 부분에서 나왔던 이야기다. 뉴럴네트워크의 발전과 그 발전을 예측할 수 있는가에 대한 문제에 대한 언급이다. 굉장히 Hintonian식으로 비유를 하는데:

고속도로 비유: 고속도로 달리고 있을 때 앞차에서 후미등에서 빛이 나와서 광자가 나와서 우리가 그 광자들을 볼 수 있다. 그 광자의 양은 거리가 증가할수록 제곱으로 감소한다. 근데 안개가 내려 있으면 짧은 거리에서는 여전히 제곱으로 감소하는데 가깝지만 거리가 좀 멀어지면 지수적으로 감소한다. 그래서 거의 안 보인다. 저 거리가 좀 멀어지면.

뉴럴네트워크 기술의 발전: 뉴럴네트워크 기술의 발전이 이런 상태라고 얘기를 한다. Hinton이 좀 더 주목했던 건 기술의 발전이 지수적으로 증가하기 때문에 예측하기가 참 어렵다. 이런 얘기를 하긴 했지만, 이게 미래를 예측한다는 문제의 불확실성이 다 이런 느낌인 것 같다. 단기간에 대해서는 언제나 가능할 수 있고 꽤 정확하게 예측할 수도 있겠지만 장기간에 대해서 그 결과나 파급력을 예측하는 것은 거의 불가능한 경우가 많다.

시간 스케일의 압축: 문제는 Hinton은 이 얘기를 했을 때 Hinton은 생각했던 타임 스케일은:

• 장기간은 한 30년
• 단기간을 예측할 수 있는 한 5년
• 5년 내에 10년 정도는 예측이 된다
• 5년 내에 10년은 뉴럴네트워크가 엄청난 일을 해낼 거다
• 30년 후에는 잘 모르겠다

이런 느낌이었다. 근데 이게 너무 짧아졌다는 생각이 든다. 최근엔 너무 짧아졌다:

• 장기간은 한 1년에서 2년 정도인 것 같고
• 단기간은 한 3개월 정도인 것 같다
• 3개월에서 6개월 정도는 앞으로 무슨 일이 일어날까가 약간 가늠이 오는 것 같은데
• 1년에서 2년 뒤에 어떤 일이 일어날지는 예측이 안 되는 것 같다

단기간 예측 가능한 것들: 단기간에 대해서 예측할 수 있는 부분은 이런 거겠다. 환경 스케일링은 계속 작업 계속 할 거고 점점 더 할 수 있는 일들이 늘어날 거고 더 많은 Competition들에서 우승할 거고. 이런 일들이 벌어질 거라고 예측이 가능하다.

장기간의 불확실성: 근데 1년에서 2년 사이에 뒤에 무슨 일이 일어날까 하는 것은 저희가 지금 생각했던 문제들이 해결될 것인가, 해결되지 않을 것인가 하고 결부가 되어 있다고 생각한다.

해결되지 않았을 경우: 환경 스케일링의 연장들이 계속 일어날 것이다. Sam Altman과 Dario Amodei가 파티를 해서 이런 식으로 얘기를 했다: “기술이 발전하지 않아도 많은 문제들, 가치 있는 문제들 풀어나갈 것 같습니다.” 이런 부분들 예측이 가능한 문제다. 그건 기술이 발전하지 않았을 경우다.

해결되었을 경우: 기술이 발전했을 때, 만약에 저희가 했던 문제들이 풀려나갔다고 하면 그때 어떤 일이 발생할지 예측하기는 참 어려운 것 같다. 뭔가 엄청난 일들이 일어나기 시작할 수도 있다. 근데 그게 예측하기 어려운 것 같고 그 예측하기 어려운 시간의 규모가 무슨 30년 이런 단위가 아니라 고작 1년, 2년, 3년 정도인 것 같다.

장시영의 전망: 이 문제에 언급한 사람 장시영이 “한 2~3년 이만 풀리지 않겠어요?”라는 얘기를 언급을 한다. “짧은 건 1년에 풀릴 것 같고 2~3년 정도면 풀리지 않을까요?” 이런 얘기를 언급을 한다.

결론: 그래서 규모가 너무 짧다. 안개가 너무 가까이에서 너무 짙은 거리까지 짙게 깔려있는 상태라고 생각이 된다. 프런티어 랩에 있는 사람들은 그 안개 저희보다 조금 더 앞에 나가 있으니까 조금 더 보고 있겠다. 상대적으로 좀 더 보고 있겠다. 근데 감히 추측하자면 그 사람들도 이것들이 기술적 성취가 도달할 수 있을지 없을지는 완벽하게는 모르지 않을까 생각한다. Noam Brown도 그냥 지나가는 이야기로 “6개월 정도 앞서 있다” 뭐 이런 얘기 했었다. 프런티어가. 그래서 “매일 아침에 일어나서 이 지능의 최전선이 어디까지 전진했는지 보는 즐거움이 있다” 뭐 이런 표현을 했었던 게 기억에 난다.

3개월에서 6개월만 앞에 보이고 그게 넘어가면 안개 속이다. 안개 속에서 운전해보신 분 다 안다. 어느 임계 시점이 가면 앞에 빨간 불이 갑자기 사라져버린다. 안개가 진해지면 진해질수록.

스타트업과 도망에 대한 고찰

환경 스케일링과 스타트업: 환경 스케일링이 단기간 안에 작동이 된다고 하면 스타트업한테는 유리한 것인가 불리한 것인가? 솔직하게는 모르겠다. 어떤 선택을 하는 게 옳은가?

두 가지 가능성:

1. 1년, 2년 뒤에 우리가 지금 고민하고 있는 문제가 다 끝나버릴 가능성은 있다
2. 그럼에도 불구하고 오늘은 내 손에 있는 프런티어 모델을 가지고 하니스를 만드는데, 즉 사과나무 한 그루를 심는데 내 인생을 써야 되겠다

많은 사람들이 여기에 베팅하고 있긴 하다.

비관적 시나리오: 1년, 2년이 지나서 지금 열심히 노력하고 있는 수많은 스타트업들이나 아니면 하니스를 만들어서 업무를 최적화하고 있는 사람이나 이런 사람들이 하는 것이 참 무의미하게… 심지어 프롬프팅도 안 해도 자의식을 가지고 자율학습하고 스스로 액션해서 일을 끝내버리는 그런 애가 나오면 아무것도 안 하는 게 더 좋은 것 아니냐. 뭐 이런 얘기 하시는 분들도 당연히 있다. 물론 더 현실적이면 그런 세상이 오면 회사에서 여러분들을 고용할 이유가 없다. 다 잘라버리겠다.

환경 스케일링의 의미: 환경 스케일링이라고 했을 때가 결국에는 지금은 작은 도메인의 영역에서 우리가 독자적인 어떤 다른 데서는 모르는 환경을 구축하고 그것에 레버리지를 가질 수 있다라는 생각을 해볼 수 있는데, 그게 스케일러블한(Scalable) 일반화 할 수 있는 문제가 되면 영향을 받을 수 있다는 것이다.

컴퓨테이션의 무한 확장: AI 세상을 바라보는 감은 굉장히 간단하다. 예전에 Alan Turing도 그런 생각을 했다. 무한히 큰 컴퓨터가 있으면 모든 것을 다 만들 수 있다고 얘기했다. 근데 그 무한이라는 범위가 지금 손에 잡히는 식으로 현실이 온 것이다. 한 몇십 년 전에 사람이 봤으면 저희가 지금 쓰고 있는 컴퓨테이션(Computation)은 아마 Infinity였을 것이다. 그 Infinity가 계속 확장하고 있는 구조기 때문에 일어날 일들은 다 일어난다고 본다.

강화학습 = 라벨 생성기: 데이터셋이 충분히 있고 모델이 충분히 크고 컴퓨터가 있으면 다 끝난다. 데이터셋이 없기 때문에 지금 한계가 있는 것이다. 이 Reinforcement Learning 강화학습이 엄밀하게 얘기하면 **라벨 생성기(Label Generator)**라고 항상 생각한다. 우리가 가지고 있지 않은 데이터셋을, 가보지 않은 도메인들을 돌아다니면서 얘가 익스플로어(Explore)하고 일을 하면 그걸 데이터셋으로 만들어서 결국은 모든 것들을 다 Supervised Learning으로 전부 바꿔주고 있는 그 기계라고 본다. 그 과정이 이제 환경. 환경이 이제 도메인마다 하나씩 생기면서 다 만들어지는 것이고 쉬운 도메인부터 만들어지고 있다.

남은 기회: 예전에는 머릿속에 스타트업 관점에서 굉장히 다양한 스텝들이 있었는데 지금은:

• 컴퓨팅을 통해서 데이터셋을 용이하게 생성할 수 있는 그런 디지털 콘텐츠의 관점이라든지
• 아니면 인간이 필연적으로 지금 갖고 있는 세상에 갖고 있는 게으름이라든지 인간의 탐욕이라든지
• 혹은 지금의 자본주의의 소유 시스템이라든지

이런 것들이 통째로 바뀌는 데는 시간은 한참 걸릴 것이다. 그래서 그런 쪽 부분에 있는 문제들로 어떤 사업이라든지 인간의 어떤 관심 분야들을 옮기는 것만이 기회가 남아있는 것 아닌가. 그 나머지 부분들, 우리가 “이런 것 하면 쿨해 보이겠네”, “이런 것 만들어야지”, “이런 제품 좋아”, 불과 1년 전까지만 해도 워킹하던 그런 영역들은 솔직히 다 위험하다라고 생각을 하고 있다.

---

결론: 프런티어의 바깥에서 프런티어를 이야기하는 것은 조심스럽지만, 방향성을 파악하는 것은 의미가 있다. 추론과 에이전트의 시대가 도래했고, 환경 스케일링을 통한 RL이 핵심 방법론이 되었다. 하지만 당면한 문제들(비용, Verifiability, 롱 컨텍스트)이 존재하며, 이를 해결하기 위한 방향으로 자율학습, 내적 보상, 피드백, 온라인 학습, 장기기억, 멀티 에이전트 같은 과제들이 있다. 그리고 이 모든 것은 진보의 안개(Fog of Progress) 속에 있다. 단기간(3~6개월)은 예측 가능하지만, 장기간(1~2년)은 예측이 거의 불가능하다. 그 안개는 점점 더 짙어지고 있다.