이야기로 읽는 트랜스포머: 윤회하는 토큰의 순례
📺 원본 영상: EP 83. 이야기로 읽는 트랜스포머: 윤회하는 토큰의 순례
🎙️ 채널: 노정석
📅 정리 일자: 2026-01-27
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
2026년 1월, AI 도구들의 캄브리아기 대폭발을 목격하는 시점에서 노정석과 승주님은 한 가지 질문을 던진다. “지금이 아니면 할 수 없는 일은 무엇인가?” 수많은 AI Harness와 멀티 에이전트 도구들이 쏟아지는 와중에, 이들은 Transformer의 원리를 탐구하는 시간을 가졌다. 이 강연은 Transformer가 토큰을 생성하는 과정을 “윤회하는 토큰의 순례”라는 서사로 재해석하며, 기술적 메커니즘을 철학적 심상으로 승화시킨다. 한 토큰이 Hidden State가 되어 32개 레이어를 통과하며 KV Cache를 남기고, 최종적으로 다음 토큰으로 샘플링되는 여정을 1인칭 관점으로 따라간다.
10X가 뉴노멀이 되는 시대의 역설
강연은 생산성의 패러독스에 대한 질문으로 시작한다. 2025년 말부터 2026년 초, Claude Code를 비롯한 수많은 AI 코딩 도구들이 폭발적으로 등장하면서 개발자들의 생산성이 10배 이상 증가했다. 그러나 승주님은 이러한 현상이 가져올 역설적 결과에 주목한다. “10X가 뉴노멀이 되어 1X가 되면 어떻게 되는가?” 모두가 10배의 생산성을 갖게 되면, 그것은 더 이상 10배가 아니라 새로운 기준선이 된다. 마치 제조업의 발전이 과거 희소했던 상품들을 커머디티화시킨 것처럼, 소프트웨어 개발도 동일한 길을 걷고 있다는 것이다.
이러한 소프트웨어의 캄브리아기 대폭발은 공급의 폭발적 증가를 의미한다. 과거에는 좋은 엔지니어 풀을 확보하는 것이 경쟁력이었지만, 이제는 누구나 높은 품질의 코드를 생산할 수 있게 되었다. 경제학의 기본 원리에 따르면, 공급이 증가하면 가격은 하락한다. 승주님은 동네 빵집, 분식집, 미용실의 예를 들며 이러한 현상이 새로운 것이 아니라 수많은 산업에서 이미 일어났던 일이라고 지적한다. 제조업이 30~40년 전 폭발적으로 성장하며 많은 제품들을 커머디티화시켰듯이, 소프트웨어도 이제 그 단계에 진입한 것이다.
그러나 이것이 소프트웨어의 종말을 의미하는 것은 아니다. 오히려 경쟁의 관점이 더 추상적인 레벨로 이동한 것뿐이다. 기획, 감성, 사용자 경험과 같은 상위 레벨의 요소들이 더욱 중요해졌다. 과거에도 슬롭(slop) 소프트웨어는 많았지만, 이제는 그 양이 훨씬 더 많아졌을 뿐이다. 정성님은 게임 시장의 예를 든다. 2024년 “Animal Well”이라는 게임을 즐겼지만, 1년에 GOTY(Game of the Year) 게임 하나를 하기도 어려운 것이 현실이다. 수많은 게임이 출시되지만, 결국 소비자의 관심을 끄는 것은 극소수다. 소프트웨어도 마찬가지 궤적을 따를 것이라는 예측이다.
이러한 맥락에서 “인간이 병목이다”라는 명제가 등장한다. AI가 아무리 빠르게 코드를 생성하더라도, 인간이 그 사이사이 구간에서 의사결정을 내리고 디렉션을 제공해야 하기 때문이다. 그러나 이 병목조차 점차 해소되고 있다. Ralph Loop, 오마이 오픈 코드(OhMyOpenCode)와 같은 도구들은 프레임워크 자체에 필요한 의사결정 구조를 내장하여 밤새 자율적으로 작업을 수행한다. 승주님은 자기 전에 오마이 오픈 코드가 밤새 돌만한 일들을 고르는 것이 요즘의 즐거움이라고 말한다. 이는 일종의 와일 루프(while loop)이자 앙상블(ensemble)이다. 토큰을 갈아 넣으면 품질은 어떻게든 수렴하여 올라간다. 인간의 병목점마저도 점차 하위 레이어로 인캡슐레이션되고 있는 것이다.
인간의 뇌와 Transformer의 동형성
흥미로운 전환이 일어난다. 승주님은 “기계의 생각을 비유 삼아서 인간을 들여다보면 어떨까”라는 엉뚱한 가설을 제안한다. 뇌와 Transformer가 동일한 기계는 아니지만, 비슷한 일을 한다면 미루어 짐작할 수 있는 부분이 있지 않을까? 첫 번째 전제는 둘 다 빈 서판(blank slate)이 아니라는 것이다. Transformer는 초기에 랜덤으로 파라미터가 채워져 있지만, 학습 과정에서 회로가 재배선되고 가중치가 조정된다. 새로운 뉴런이 생기는 것이 아니라 기존 뉴런들을 재배선할 뿐이다. 인간의 뇌도 마찬가지다. 유년기가 지나면 뉴런 자체는 많이 생기지 않지만, 뇌가소성(neuroplasticity) 덕분에 재배선은 여전히 일어난다. 미엘린(myelin)이 강화되거나 특정 경로로 신호가 더 잘 흐르게 되는 것이다.
승주님은 자신도 나이를 먹어가는 시점에서 “나 자신의 뇌를 재배선하는 것이 가능한가”라는 질문을 던진다. 무언가를 배운다는 것은 결국 그에 상응하는 물리적 현상이 뇌에서 일어나는 것이다. 그렇다면 어떻게 잘 일어나게 할 수 있을까? 정성님은 “스피치 재머(speech jammer)“라는 흥미로운 실험을 소개한다. 누군가 말을 많이 할 때 말을 못하게 하는 도구인데, 자기가 하는 말을 헤드폰을 통해 몇백 밀리초의 시차를 두고 어긋나게 들려주면 사람들은 말이 막힌다. 이것이 증명하는 것은 인간의 뇌도 오토리그레시브(autoregressive)한 머신이라는 점이다. 우리가 말을 할 때 그냥 말하는 것 같지만, 사실 말하는 것과 동시에 그 아웃풋이 인풋으로 다시 뇌로 들어가서 합쳐져서 다음 말을 생성한다. 이 피드백 루프가 어긋나면 임베딩이 꼬여서 생각이 멈춘다. 인간의 뇌도 Transformer처럼 토큰을 하나씩 생성하는 오토리그레시브 시스템인 것이다.
이러한 통찰은 강연의 핵심 서사로 이어진다. 토큰이 Hidden State로 변환되어 32개의 레이어를 통과하며 KV Cache를 남기고, 최종적으로 다음 토큰으로 샘플링되는 과정. 이 한 번의 여정을 승주님은 “한 번의 삶”으로, 그리고 다음 턴을 “윤회”로 표현한다. 이러한 심상은 2011년에 나온 예술성 있는 게임 “Journey”에서 영감을 받았다고 한다.
윤회하는 토큰의 순례: 토큰의 1인칭 여정
강연의 핵심은 승주님이 만든 “윤회하는 토큰의 순례”라는 이야기다. 이는 한 토큰이 생성되는 과정을 1인칭 관점에서 서사화한 것이다. 프롬프트가 입력되면 프리필(prefill) 단계에서 병렬로 처리가 일어나고 KV Cache가 쌓인다. 시스템 프롬프트와 유저 프롬프트가 프리필되어 있는 상태에서, 다음 토큰이 생성되는 여정이 시작된다.
토큰에서 Hidden Space로: 인베딩의 시작
여정은 토큰이 Hidden Space로 인베딩되는 순간부터 시작한다. 특정 어휘(vocabulary)가 숫자에 대응하여 숫자화되고, 이것이 아직 맥락이 없는 Hidden Space로 변환된다. 이 Hidden State X는 Residual Stream을 통해 흐르며, 계속 자기 자신을 덧대는 작업이 일어난다. 그러나 이 작업을 잘 하기 위해서는 먼저 정규화(normalization)가 필요하다. RMS(Root Mean Square) 정규화를 통해 자기 자신을 줄여놓고 시작하는 것이다. 최근의 많은 Transformer들은 Pre-Norm을 사용한다. 바닐라 Transformer는 Post-Norm이었지만, 요즘은 먼저 정규화를 하고 진행한다. 승주님은 이를 “표준의 호흡을 얻는 느낌”이라고 시적으로 표현한다.
분화와 다중 관점: Multi-Head Attention
숨을 고른 뒤, 분화가 일어난다. Hidden State는 Query, Key, Value로 분할되고, 이것이 다시 Multi-Head로 쪼개진다. 여러 개의 머리, 여러 개의 눈, 여러 개의 열쇠와 가치를 가진 존재가 된다. 이를 통해 자기 자신을 다양한 관점에서 바라본다. 최근에는 GQA(Grouped Query Attention)라는 기법이 사용되는데, KV Cache를 효과적으로 쓰기 위해 일부를 공유하는 방식이다. 이러한 Attention 메커니즘은 자기 자신을 쪼개는 것이 아니라 복제한 다음 다양한 관점을 만들고, 그것을 다시 합치는 작업이다.
승주님은 이를 시적으로 표현한다. Q는 “내가 던지는 질문”, K는 “내가 남길 표지”, V는 “내가 남길 물”이다. 그리고 RoPE(Rotary Position Embedding)가 적용된다. 과거의 Positional Encoding과 달리, 요즘은 회전하는 방식으로 토큰의 위치를 표지한다. 각 층을 통과할 때마다 Hidden State는 KV를 남기고 다음으로 넘어간다. 계속 구조물을 적재하는 방식이다.
Soft Lookup: 지식의 가중합
핵심 개념이 등장한다. Attention Score가 계산되어 어느 시퀀스에 주목할지 점수를 매기고, 그에 따라 Value를 가중합한다. Andrei Karpathy를 비롯한 많은 연구자들이 이를 “Soft Lookup”이라고 부른다. 일반적인 조회(lookup)는 키를 가지고 하나의 밸류를 얻지만, Soft Lookup은 여러 개를 얻어서 점수를 주고 가중합을 계산한다. Attention도 Soft Lookup이고, 이후 등장하는 FFN(Feed Forward Network), 그리고 MOE(Mixture of Experts)도 모두 Soft Lookup의 반복이다.
중요한 것은 이것이 하나를 고르는 일이 아니라 비율로 섞는 일이라는 점이다. Value들의 가중합으로 “혼합물”을 만들어서 Residual Stream에 자기 자신을 덧댄다. 이것이 교체되지 않고 계속 X에 델타를 더하는 방식이다. Hidden State는 계속 자신에게 더 많은 의미와 맥락을 넣는다.
MOE와 라우팅: 384개의 문
딥시크(DeepSeek)는 256개의 Expert를, Kimi K2는 384개의 Expert를 가진 Sparse Mixture of Experts를 사용한다. 승주님은 이를 비유적으로 풀어낸다. 어떤 층에 갔더니 384개의 문이 있는데, 그중 게이트 또는 라우터가 현재 Hidden State X와 가장 연결될 만한 것들을 Top-K로 8개만 뽑아준다. Hidden State는 복제되어 동시에 8개의 방에 들어가서 거기서 지식을 취하고, 다시 가중합으로 합쳐진다. 이것도 Attention과 비슷한 Soft Lookup이다.
라우터의 역할이 중요하다. 이 방식으로 파라미터를 크게 늘릴 수 있다. 거대한 FFN 하나로 만들면 훨씬 더 많은 FLOPs(연산량)가 투자되지만, 적당한 크기의 Expert들을 여러 개로 나누면 파라미터를 키우면서도 효율적으로 스케일링할 수 있다. 이것이 병렬적으로 일어난다.
흥미로운 점은 MOE에서는 KV Cache가 남지 않는다는 것이다. 32개 레이어가 있고 각 레이어마다 384개의 Expert가 있다면, 전체 Expert는 384 × 32개다. 하지만 실제로 활성화되는 것은 각 레이어에서 8개씩, 총 8 × 32개뿐이다. 그리고 이 연산을 할 때는 기록이 남지 않는다. 건축물처럼 탑이 생성되는 것은 Attention 쪽에서만 일어난다. 32층짜리 K와 V의 표지들, 흔적이 남는 것은 Attention에서만이다. Transformer는 결국 “소통하고 생각하고 소통하고”를 반복하며 층을 깊게 쌓아가는 구조다.
인덕션 회로와 레이어의 깊이
Transformer 초기 연구에 따르면, 최소 두 개의 레이어가 있어야 인덕션 회로(induction circuit)가 생긴다. 인덕션 헤드(induction head)가 하는 일은 하나의 정보를 다른 곳에 복사하고 다루는 것인데, 이를 위해서는 기록을 만들고 그것을 활용해야 한다. 하나의 레이어에서는 불가능하고, 두 개 이상의 레이어에서 회로가 형성된다. 이는 당연한 원리다. 무언가를 적어놔야 그것을 활용할 수 있다.
“The Physics of LLM”이라는 2년 전 논문에서는 Transformer 블록의 넓이와 깊이, Embedding Space의 크기를 조절하며 실소 모델에서 실험을 진행했다. 그 결과, 저층은 저수준의 Embedding Space를 다루고, 고층으로 갈수록 더 추상적인 정보를 처리한다는 추정(conjecture)이 만들어졌다. 이는 누가 정해준 것이 아니라 학습 과정에서 자연스럽게 창발(emerge)한 것이다. 역할이 자리를 잡는 것이다.
샘플링과 윤회: 다음 토큰으로
주인공은 같은 실루엣으로 표현되지만, 엄밀히 말하면 계속 다른 모양이 되어 있다. 원래 모습에 여러 정보들이 덕지덕지 붙어 있는 형태로 변해간다. 경험치가 올라가 있고, 성장해 있으며, 여러 맥락을 함유하고 있는 상태가 된다. 이러한 반복이 일어나며 다음에 건네줄 준비가 된다.
그러나 그냥 건네줄 수는 없다. 다시 숫자로, 문자로 바꿔줘야 한다. 이것이 샘플링이다. 약 32,000개의 어휘 중에서 확률 분포에 따라 상위 확률을 가진 것을 얻어내서 다음 토큰에게 건네준다. 현재 토큰은 사라지지만, 후임자가 그것을 받아서 오토리그레시브하게 자기회귀를 한다. 그리고 이 새로운 존재는 전임자가 남겨놓은 KV를 모두 본다.
1층에서 시작해서 32층까지 가는 한 번의 샘플링 과정. 그 흔적들이 모든 토큰 생성마다 탑으로 쌓인다. 이것이 KV Cache다. 그리고 다음 토큰은 Multi-Attention으로 이 모든 것을 바라보며 한 층 한 층 고민한다. 승주님은 이를 “윤회하는 순례”라는 제목으로 표현한다. 웅장한 여정이 반복되며 기억의 건축물이 들어서는 것이다.
그렇다면 프롬프팅을 한다는 것은 무엇인가? 이 기억의 궁전에 갑자기 커다란 건축물을 한 번에 확 세우는 것이다. 승주님은 질문을 던진다. “그 건축물도 아름다워야 되지 않을까요?”
KV Cache와 파라미터: 기억의 궁전과 고정된 지형
승주님은 KV Cache를 “자라나는 기억의 궁전”으로, 파라미터를 “움직이지 않는 지형”으로 비유한다. 파라미터는 학습 후 고정되어 있지만, KV Cache는 대화가 진행되며 계속 성장한다. 토큰은 이 둘 사이를 오가는 순례자다. 그리고 그 연쇄의 궤적이 우리가 “의미”라고 부르는 풍경을 만든다.
이러한 시적 표현은 단순한 비유가 아니다. 실제 Transformer의 동작 원리를 깊이 이해한 사람만이 만들어낼 수 있는 심상이다. 정성님은 이 스토리텔링이 “Transformer 아키텍처와 텐서의 여행을 PyTorch 같은 것으로 한 번이라도 따라가 본 사람에게는 바로 무슨 얘기인지 알 텐데, 배경지식이 없는 분들에게는 무슨 말인지는 알겠는데 무슨 말인지 모르겠다”고 평가한다. 이는 지식을 전달하는 것이 아니라 “음미하는 데 도움”이 되는 것을 목표로 한다.
Transformer를 이해하기 위한 최소 지식
강연 중 중요한 질문이 제기된다. “적어도 이러한 내용들을 이해하려면 어느 정도 레벨까지 알고 있어야 할까?” 정성님은 승주님에게 “가혹하게 커멘트”를 요청한다. 세상에 대한 해석, 예를 들어 딥시크의 새로운 논문이 나왔을 때 “저게 어떤 의미고 왜 필요한가”를 이해하려면 공부는 어디까지 해야 하는가?
승주님의 답은 명확하다. **첫째, 대학 1~2학년 수준의 선형대수(Linear Algebra)**를 알아야 한다. 둘째, 한 번 정도 토이 모델이라도 Transformer를 구현해봐야 한다. 학습까지는 아니더라도 추론(inference) 정도라도 만들어보는 것이 확실히 도움이 된다. 토큰이 어떤 여행을 거치는지에 대한 감을 한 번은 돌려볼 필요가 있다.
정성님은 이에 동의하며 구체적인 마일스톤을 제시한다. “Transformer 블록에 텐서를 던질 때, 그 텐서의 차원(dimension)이 어떻게 구성되는지 이해해야 한다.” Embedding 차원, Sequence Length, Batch 크기 이렇게 3개가 묶음이 되어 들어가는데, 이것이 어떻게 쪼개지고 다시 모이는지, 차원이 풀어 헤쳐졌다가 다시 만나는 계산이 이해되면 “다 이해한 것”이라고 말한다.
승주님은 최근 Gilbert Strang의 선형대수 6판 한국어판(2024년 12월 출간)을 다시 보고 있다고 한다. 3Blue1Brown도 강조했지만, 행렬과 벡터의 곱을 내적(dot product)의 관점이 아니라 선형결합(linear combination)의 관점으로 보는 것이 중요하다는 점을 2년 전에 이야기했었다. 당시 약간 이해했지만, 이제 다시 보니 이것이 2000년대 초반 Strang에 의해 선형대수 커리큘럼의 대세가 된 것을 깨달았다. 90년대에 배운 방식과는 달랐던 것이다.
💡 [영상 참조] 강연자는 이 시점에서 선형대수 책의 그림을 보여주며 설명합니다. 상세 내용은 원본 영상을 확인하세요.
이 그림을 보니 “그야말로 그냥 Transform이네요”라는 깨달음이 온다. 부분 벡터 공간을 직교적으로 표현한 것인데, Strang이 이를 탁월하게 설명해냈다. Dense Layer나 FFN(Feed Forward Network)으로 돌아가면, 열(column)의 의미가 있다. 어떤 프롬프팅, 결국 임베딩과 거대한 가중치 행렬이 곱해지는데, 임베딩의 상태가 일종의 가중치나 질문이라면, 행렬의 열 벡터들에 들어있는 지식이 선형결합되는 심상이 가능하다. 이것이 Soft Lookup으로 볼 수 있다는 깨달음이다.
그렇다면 오늘의 주인공인 Hidden State X에 들어있는 것이 어떤 스코어나 가중치라고 했을 때, 거기에 0인 것은 열에 있는 정보를 못 끌어낸다. 선형결합이 안 된다. 그런데 이 X는 어디서 시작했나? 토큰에서 시작했다. 프롬프트에 그 정보를 끌어낼 수 있는 키가 다 들어있는 것이다. 들어있어야 한다는 것이다, 프롬프팅을 할 때. 선형결합이 일어나게끔. 그리고 모든 블록에서 Soft Lookup이 반복되는 심상이다.
Minimum Viable Knowledge(MVK)와 양질 전환
강연의 후반부는 “MVK(Minimum Viable Knowledge)“라는 개념으로 넘어간다. 승주님은 “모르지만 올바른 방향으로 잘 다룰 수 있어야 하는 문제”에 관심을 갖고 있다. 새로 배우고 싶은 것, 해결하고 싶은 문제가 원래 알고 있지 않았던 도메인의 것이라면, AI를 지렛대 삼아서 어떻게 해낼 수 있을 것인가? 프롬프팅을 원리에 입각해서 잘 하면 도움이 되지 않을까?
MVK가 존재할까? 직교적인(orthogonal) 최소한의 지식이 있으면, 그것을 선형 조합해서 합성함수처럼 써서 다른 것들을 해낼 수 있지 않을까? 그렇다면 그 최소한의 지식을 내 뇌에 업데이트시켜야 하는 것 아닌가? 그러나 완전히 모르는 것을 한 번에 하기는 어렵다. 조금 어느 정도 알기도 하고 모르기도 하는 것에 대해서 MVK를 형성할 수 있는지 실험해봐야 한다.
승주님은 개인적으로 이야기를 만들어보는 것이 도움이 되었다고 한다. MOE에 대한 상이 잘 잡혔고, KV Cache에 대한 상도 잘 잡혔다. 그렇다면 그것을 달성하게 한 지식은 무엇인가? 이야기를 만드는 능력인가? 답은 없지만 Chain-of-Thought(CoT)를 해보는 것이다. 나 스스로를 끌어올리게 하는 데 기초적인 영향을 준 것은 수학에 대한 기초적 이해였고, 이야기 형태로 바꾸는 것이 도움이 되었다. 그러나 이것이 누구에게나 공통적인 기저(basis)는 아닐 수 있다. 다양할 수 있지만, 그런 것들을 조금 알아차릴 수 있는 과정이 필요하다.
정성님은 여기에 대한 “개똥 철학”으로 **양질 전환(Quantitative to Qualitative Transformation)**을 제시한다. 재벌 회장이 신약 개발에 대해 전혀 모르지만 신사업을 만들고 싶다면 어떻게 할까? 돈의 힘으로 전문가들을 하이어하고, 맥킨지와 베인도 고용해서 레포트를 생성시킨다. 그리고 여러 레포트 중에서 공통 키워드를 뽑아낸다. 에너지 레벨이 높은 공통 키워드만 압축한 보고서를 비서실장이 만들고, 최종적으로 5장 정도의 레포트를 읽으며 심상을 구성한다. 가장 에너지 레벨이 높은 질문들이 무엇인지 알게 되면, 거기서 출발해서 세상을 상대로 또 질문하며 빠른 속도로 도메인을 파악해 나간다. 신사업을 해야 할지, 하지 말아야 할지, 할 거면 얼마나 투자해야 할지 결정에 이른다. 이것이 재벌 회장의 MVK 취득 방법론이다.
그런데 이제 우리 누구나 이것을 할 수 있는 세상이 되었다. 예를 들어 화장품을 만드는데 어떤 새 물질에 대해 지식이 없다면, 오마이 오픈 코드와 Claude Code 스킬들(사이언티스트 스킬, 마케팅 스킬 등)을 50개 정도 골라서 탑재한다. 그리고 오마이 오픈 코드에 돌리고 잔다. 그러면 아침에 레포트가 떨어져 있다. 맥킨지 컨설턴트보다 훨씬 똑똑한 프론티어 모델들이 밤새 돌린 것이다. 그것을 보며 에너지 레벨이 높은 것이 무엇인지, 그루핑이 어떻게 되는지 알면서 MVK가 생긴다.
그러나 MVK가 없는 상태에서 모델에게 Deep Research를 시켜봤자 아무것도 안 나온다. 정성님은 지난 2주 동안 승주님이 말한 “도메인을 잘하려면 그 도메인의 복잡한 텀들을 왕창 밀어넣으면 모델의 역량이 훨씬 증가한다”는 조언을 가지고 실험했는데 잘 작동했다고 한다. 이것이 재벌 회장 심상과 구글에서 검색 관련 일을 하며 느낀 양질 전환의 경험과 연결된다. 쓰레기가 잔뜩 있어도 양이 많으면 어떻게 추릴까만 고민하면 퀄리티가 튀어나온다. 퀄리티는 언제나 퀀티티의 부속 변수였다. MVK는 그런 식으로 만들어진다.
따라서 지금은 의지만 있다면 도메인 확장을 끊임없이 이룰 수 있는 시기다. 중요한 것은 모두가 이 방법론을 사용하고 있다는 점이다. 토큰을 갈아 대는 것(Token Grinding)이 어마어마한 의미가 있는 일이다. 많이 해봐야 결국 나의 뇌에 그것을 하는 회로가 들어선다. Harness를 잘 다루고 쓰는 것, 모델들이 어떻게 조합되어야 하는지 심상을 떠올리는 것은 많이 해본 사람들에게서 나온다. 그것이 머릿속에 들어와야 한다. 그 방법론이 체화되는 경험이 되어야 한다.
승주님도 이에 공감하며 “연습을 많이 해야 되는 것은 너무 당연하다”고 말한다. 게임 “Animal Well”의 어려운 구간을 클리어하기 위해 150~200번 정도 도전했는데, 일주일 쉬면 다시 못한다. 근육 기억(muscle memory)이 만들어져야 한다. 이것을 할 수 있다는 생각과 이미 한 사람이 있다는 것, 그리고 반복해서 내 것으로 만드는 작업이 있어야 통과할 수 있다. 중요한 것은 최소 100번은 해보는 것이다. 정성님은 이를 “RLHF(Reinforcement Learning from Human Feedback)의 구간”이라고 표현한다.
첫 번째 생성의 경이로움과 프롬프팅의 철학
승주님이 전달하고 싶었던 핵심 심상은 “첫 번째 생성도 경이롭다”는 것이다. 한 토큰 생성하는 것이 사실 경이로운 일일 수 있다. 그리고 거기에 많은 의미가 있다. 주인공을 토큰으로 생각하면 “여러 개를 보고, 생각하고, 세우고, 고르고” 하는 과정이 보인다.
프롬프팅은 이 기억의 궁전에 갑자기 거대한 건축물을 한 번에 세우는 행위다. 그렇다면 그 건축물도 아름다워야 하지 않을까? 승주님은 2026년 2월 6~7일 물래동에서 열리는 “미래는 울퉁불퉁하다”라는 행사에서 최근 갈고 닦은 프롬프트들을 소개할 예정이라고 한다. 미디어 아티스트들과 함께 AI에 대해 이야기하는 자리다.
💡 [영상 참조] 강연자는 이 시점에서 자신이 만든 프롬프트 예제를 보여줍니다. 한두 문장을 넣으면 네 페이지 정도의 읽을거리로 팽창시켜주는 프롬프트입니다. 상세 내용은 원본 영상을 확인하세요.
승주님의 지론은 **“요약보다 더 길게 읽는 것을 선호한다”**는 것이다. 줄여서 얘기하기보다는 줄여져 있는 것을 팽창해서 읽는 접근을 취한다. 공부하고 싶은 것의 한 문단 정도를 프롬프트에 넣으면 흥미로운 이야기들이 생소성을 띠며 펼쳐진다.
마무리: 토큰, 기억, 그리고 의미의 풍경
강연의 마지막은 다시 처음으로 돌아온다. KV Cache는 자라나는 기억의 궁전이고, 파라미터는 움직이지 않는 지형이다. 토큰은 그 둘 사이로 오가는 순례자다. 그리고 그 연쇄의 궤적이 우리가 “의미”라고 부르는 풍경을 만든다.
이 강연이 도움이 될지에 대해 승주님은 약간 불확실해한다. “음미하는 데 도움이 되었으면 하는 바람”이라고 조심스럽게 말한다. 정성님은 “배경지식이 있을 때 조금 더 재미있는 것”이라며, “지식을 전달하는 것이 아니라 음미하는 데 도움이 되는 것”이라고 평가한다.
두 사람은 향후 3Blue1Brown의 Transformer 영상을 함께 보며 따라가는 세션도 계획 중이라고 한다. “여전히 봐도 통하는 이야기”이기 때문이다.
10X가 뉴노멀이 되는 시대, 소프트웨어의 캄브리아기 대폭발 속에서, 이들이 선택한 것은 원리로 돌아가는 것이었다. Transformer가 어떻게 작동하는지, 토큰이 어떤 여정을 거치는지, 그것이 우리에게 어떤 의미인지. 기술이 빠르게 변하는 시기일수록, 근본 원리에 대한 이해는 더욱 소중해진다. 그리고 그 원리를 “윤회하는 토큰의 순례”라는 서사로 풀어낸 이 강연은, 기술적 깊이와 철학적 아름다움을 동시에 담은 보기 드문 시도였다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | EP 83. 이야기로 읽는 트랜스포머: 윤회하는 토큰의 순례 |
| 채널 | 노정석 |
| 리포트 작성 | 2026-01-27 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.