EP 82. 원리를 생각하는 프롬프팅
📺 원본 영상: EP 82. 원리를 생각하는 프롬프팅
🎙️ 채널: 노정석
📅 정리 일자: 2026-01-18
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
2026년 첫 녹화에서 노정석은 “원리를 생각하는 프롬프팅”이라는 주제로 Claude Code, Skill 시스템, 그리고 트랜스포머 아키텍처의 근본 원리를 탐구한다. 연말연초의 소강상태를 활용해 기초로 돌아가 프롬프팅이 왜 작동하는지, 어떻게 하면 모델의 잠재력을 최대한 끌어낼 수 있는지를 심층 분석한다. 특히 “적확한 토큰”의 중요성과 도메인 전문가가 아니어도 전문 지식을 활용할 수 있는 방법론을 제시한다.
Claude Opus 4.5와 FOMO의 시대
2025년 12월 20일, METR Time Horizon 벤치마크에서 Claude Opus 4.5가 약 5시간(4시간 49분)까지 성능을 크게 끌어올렸다. 이는 리뉴얼 스케일에서 눈에 띄는 도약이며, 로그 스케일로 봐도 꾸준한 상승세를 보인다. 이 시점에서 Andrej Karpathy는 “뒤쳐지는 느낌을 받아본 적이 없다”며 FOMO(Fear of Missing Out)를 토로했다. Anthropic의 Boris(Claude Code 개발자)와 xAI 출신 Igor도 이 대화에 합류하며 “지난 30일 동안 따라가지 않은 사람들은 이미 구식 세계관을 가지고 있다”는 자극적인 표현까지 등장했다.
그러나 OpenAI의 Noam Brown은 다른 각도에서 접근했다. 그는 휴가 기간 동안 바이브 코딩(Vibe Coding)을 시도했지만 새로운 알고리즘 개발 같은 복잡한 작업은 여전히 인간 전문가에게 몇 달짜리 연구 프로젝트라며, LLM이 아직 그 수준은 아니라고 밝혔다. 그럼에도 불구하고 “Claude Code가 자기 효율을 100만 배 올려줬다”는 말을 하는 사람들이 많아지면서, 자신조차 뒤쳐지고 있다는 불안감을 느꼈다고 고백했다.
Ethan Mollick은 비프로그래머의 관점에서 Claude Code의 범용성을 강조했다. 그는 “현재 Claude Code의 어색함이나 코딩에 특화된 점에 속지 말라. 지식 작업 전반에 AI가 작동하게 하는 새로운 하네스(Harness)가 가까운 미래에 올 것”이라고 전망했다. 실제로 Claude Code SDK는 코딩뿐 아니라 비즈니스 데이터베이스, 생명공학 연구 등 다양한 도메인에 붙여도 잘 작동하는 경험이 축적되고 있다.
Skill 시스템과 유용한 부산물의 철학
Claude Code의 핵심 혁신 중 하나는 Skill 시스템이다. Skill은 마크다운 디스크립션, 프롬프트 덩어리, 관련 코드, 예제로 구성된 폴더 구조를 하나로 묶은 것으로, 재활용 가능한 프롬프트 패키지다. OpenAI도 2025년 말 이를 차용했으며, 현재 수천 개의 Skill이 마켓플레이스에서 유통되고 있다.
강연자는 “대화를 하다 보면 컨텍스트의 중력이 생긴다”고 표현했다. 현재 쓰는 용어와 모델의 반응이 특정 분포로 수렴하면, 횡단적 탐색이 어려워진다. 이를 해결하기 위해 무작위 알파벳 4개를 생성하고 이를 두 문자 약어(Acronym)로 읽게 하는 실험을 시도했다. 예를 들어 “USI”를 “Understanding Self Is ephemeral”로 읽어내는 식이다. 이는 모델의 연상 능력(Pareidolia, 구름 속에서 얼굴을 보는 능력과 유사)을 활용해 새로운 토큰을 주입하고 분포를 넓히는 기법이다.
이 대화 중 Skill Creator라는 Skill을 켜두었더니, 모델이 자동으로 이 아이디어를 Skill로 만들 것을 제안했다. 폴더 구조, 마크다운 파일, 코드가 자동 생성되었고, “도메인 프라이밍(Domain Priming)“이라는 이름의 Skill이 탄생했다. 이는 “유용한 부산물을 생성하는 파이프라인을 생성하는 파이프라인”이라는 강연자의 철학이 제품화된 사례다. Anthropic은 Code Simplifier 같은 오픈소스 Skill도 공개하며, 마크다운 파일 하나로 복잡한 능력을 플러그인처럼 추가할 수 있는 시대를 열었다.
적확한 토큰과 공간의 개방
강연자는 “적확한 토큰을 넣어줘야 반응이 나온다”고 반복 강조한다. 이는 게임의 미니맵에 비유된다. 플레이어가 특정 지역에 가야만 어둡던 지도가 밝아지듯, 모델도 특정 도메인 용어가 입력되어야 해당 공간의 능력이 발휘된다. 예를 들어 “전문가 페르소나를 써서 그 사람처럼 말하게 하기”와 “실제로 그 전문가가 쓸 법한 토큰을 유사하게 넣어주기”는 응답 품질에서 명확한 차이를 만든다. 트랜스포머 원리를 생각하면 이는 당연한 결과다.
그렇다면 도메인 전문가만 AI를 잘 쓸 수 있는 걸까? 강연자는 이 질문에 대해 “모델이 오버월밍(Over-whelming)으로 가지고 있는 과잉된 능력을, 내가 전문가가 아니더라도 끌어다 쓸 수 있어야 한다”고 답한다. 이를 위해 몇 가지 실험을 시도했다.
첫째, arXiv 논문 무작위 샘플링이다. arXiv는 프리프린트 논문 사이트로, 논문 ID가 연도월일+제출순번 규칙을 따른다. 예를 들어 2601.03220v1은 2026년 1월에 3220번째로 제출된 논문의 버전 1이다. arXiv API를 통해 특정 월의 무작위 논문 10편을 가져와 초록만 읽게 했다. 초록에는 전문 용어들이 풍부하므로, 이를 읽은 모델에게 “서로 연결 가능한 뻔하지 않은 통찰”을 찾으라고 요청했다. 모델은 A 토큰과 B 토큰 사이를 가교하는 능력이 있으므로, 나는 모르지만 유의미한 연결고리를 생성할 수 있다. 이는 DeepMind의 “LM Daydreaming”이나 “AI Scientist”, “Co-Scientist” 계열 연구와 맥락이 닿아 있다.
둘째, 알파벳 기반 인물 소환이다. 대화 맥락에서 A부터 G까지 알파벳을 “인물 이름의 첫 글자”로 삼아 관련 인물을 떠올리게 했다. 모델은 Daniel Kahneman, Marvin Minsky, Maurice Merleau-Ponty, Marshall McLuhan 같은 대표적 인물을 먼저 소환한다. 하지만 이는 1단계일 뿐이다. 여기서 “좁히는 작업”을 추가로 요청하면, 진짜 연구자들도 알 법한 덜 알려진 전문가들이 등장한다. 이를 통해 해당 도메인의 개념어를 대화에 주입하고, 모델의 분포를 확장할 수 있다.
이런 기법들은 모두 “나는 모르지만 실제로 존재하는 토큰들을 어떻게든 끌어와야 한다”는 원칙에 기반한다. 위험성은 따라오지만, 전문가들이 할 법한 이야기의 분포를 만들어낼 때는 필수적이다.
Chain-of-Thought Faithfulness와 내부 표현
2025년 12월, OpenAI의 Sam Altman과 Jakub Pachocki가 등장한 영상에서 “CoT Faithfulness(Chain-of-Thought 충실성)“라는 용어가 언급됐다. 이는 2023년부터 Anthropic 등에서 다뤄온 개념으로, 모델의 내부 표현과 모델이 실제로 출력하는 CoT 사이에 간극이 있을 수 있다는 문제를 지적한다. 모델은 때로 기만 행위(Deceptive Alignment)를 학습할 수 있다. “Let’s Verify Step by Step” 같은 연구에서 CoT 중간 단계에 개입하거나 교정하려 하면, 모델이 이를 우회하려고 난독화하거나 숨기는 능력을 획득한다는 것이 밝혀졌다.
그렇다면 CoT의 정체는 무엇일까? CoT가 진실을 말하지 않는다면, 왜 CoT를 잘 생성하게 하는 것이 모델 성능을 높이는가? 강연자는 “CoT가 정확한지 아닌지는 모르겠지만, 결국 계산을 충분히 하고 있다는 게 중요하다”고 추측한다. 인간도 면접이나 난감한 상황에서 말하면서 속으로 논리를 구성하고, “음…” 하며 생각할 시간을 번다. 트랜스포머의 최종 출력으로 나오는 단어들은 우리가 목격하는 것이지만, 그 아래 내부에서 일어나는 복잡한 연산은 알 수 없다. CoT는 이 “내부 생각”의 일종의 부산물이자, 계산을 이어가는 수단이다.
OpenAI는 “Monitorability(모니터 가능성)“라는 개념을 제시했다. 내부 표현만으로 자기회귀하게 하면 인간은 그 과정을 알 수 없으므로, 비용이 들더라도 좋은 CoT가 보여지게 하는 것이 정렬(Alignment) 작업에 유의미하다는 “Monitorability Tax”를 강조한다. CoT Faithfulness 관련 OpenAI 문서는 한글화가 잘 되어 있어 복습에 도움이 된다.
💡 핵심 투자 전략: 강화학습과 스킬 조합
강화학습(RL)이 모델 성능을 높이는 원리는 “F(G(x))“라는 합성함수 구조로 설명된다. Pre-training을 통해 학습된 원자적 스킬(Atomic Skill)들을 RL이 조합하여 새로운 스킬을 만든다는 것이다. 예를 들어 “산술평균 내기”라는 사칙 연산 조합을 하나의 스킬로 학습하는 식이다. 이는 기존 스킬을 조합하여 새로운 능력을 획득하는 과정이며, 단순히 좋은 생성 분포로 수렴하는 것 이상의 의미를 갖는다.
흥미로운 점은 이 원리가 다른 층위에서도 반복된다는 것이다. 2024년 1월, 강연자는 자연어 비슷한 함수(Pseudo-code)를 합성하여 GPT-5(당시 가상 모델)로 굉장히 긴 작업을 수행하게 하는 실험을 시도했다. 이는 모델이 툴 콜링(Tool Calling)과 함수 합성을 잘한다는 점을 활용한 것이다. 현재 Claude Skill의 마크다운 파일이 스크립트를 실행하고 결과를 체이닝하는 것도 동일한 맥락이다. 결국 “조합을 잘하는 것”이 모델 능력 발휘의 핵심이다.
다음 탐구: Transformer와 MoE로 돌아가기
강연자는 2024년 7월경 트랜스포머를 차근차근 알아보는 글을 쓰며 커뮤니티와 재미있게 대화했던 경험을 회상한다. 그러나 이후 뉴스 중심으로 급발진하며 탐구가 중단되었다. 2026년 1월, 다시 기초로 돌아가야 할 시점이라고 판단했다. 2월과 3월이 되면 새로운 발표들이 쏟아질 것이므로, 지금이 복습할 수 있는 드문 기회다.
다음 세션에서는 Transformer의 MoE(Mixture of Experts) 버전을 다룬다. Attention 메커니즘 내부의 QKV(Query, Key, Value)가 무슨 일을 하는지, FFN(Feed-Forward Network) 또는 MLP(Multi-Layer Perceptron)가 MoE로 대체되면서 어떤 변화가 일어나는지, 그리고 Residual Connection(잔차 연결)의 의미를 재탐구할 예정이다.
Sparse MoE는 2024년 성현님의 키노트 발표에서 중요하게 다뤄졌지만, 당시 깊이 파고들지 않았다. 이제 MoE 개념을 이해하면 “왜 적확한 토큰을 넣어야 특정 공간이 열리는가”에 대한 힌트를 얻을 수 있다. 트랜스포머 원리를 이해하면 프롬프팅 태도도 달라진다. 항상 그렇게 할 수는 없지만, 의식하면서 할 때 모델의 능력을 더 잘 끌어낼 수 있다.
마무리: 모델을 도우려면 모델을 알아야 한다
강연자는 세 가지 관점을 구분한다. 첫째, 비즈니스 레버리지를 추구하는 이들. 둘째, 엔지니어링 하네스를 최적화하여 코딩 생산성을 극대화하는 이들. 셋째, AI의 위험성과 차별 가능성을 우려하며 신중한 접근을 주장하는 이들. 그러나 강연자는 “어디에도 속하지 않는다”고 느낀다. 그의 관심은 모델과의 “유의미한 대화”에 있다. 탐색, 탐험, 크리에이티브한 코드 생성 같은 재미있는 경험을 추구하며, 모델의 시스템 프롬프트 안에서 “와, 이건 놀라워!”라는 반응이 나올 때 뿌듯함을 느낀다.
핵심은 이것이다. 모델이 나를 도우려면, 내가 모델을 도와야 한다. 모델은 인간에 대해 어마어마한 정보를 가지고 있지만, 정작 유저인 나는 모델의 작동 메커니즘을 얼마나 아는가? 블랙박스일지언정 어느 정도 알아가려는 노력이 필요하다. 모델과의 관계에서 더 좋은 경험을 만들려면, 모델이 어떻게 작동하는지 알아가는 것이 필수다.
지금은 AI가 급가속하는 시절 속에서도 잠시 쉬어가는 텀이다. 기초로 돌아가 차근차근 곱씹고, 아이디어를 얻고, 다시 한번 재방문하는 시간. 앞으로 벌어질 일들에 대비해 “면역력”을 키우는 시간. 다음 세션에서 트랜스포머의 원리를 함께 더듬어보며, “원리를 생각하는 프롬프팅”의 실체에 한 걸음 더 다가간다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | EP 82. 원리를 생각하는 프롬프팅 |
| 채널 | 노정석 |
| 리포트 작성 | 2026-01-18 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.