EP 111. 벤치마크 1등이 탈락했다? 독파모 4파전 결과 살펴보기
📺 원본 영상: EP 111. 벤치마크 1등이 탈락했다? 독파모 4파전 결과 살펴보기
🎙️ 채널: AI Frontier Korea (노정석)
📅 정리 일자: 2026-08-24
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료와 모델별 세부 수치, 차트, 코드, 슬라이드는 포함되지 않을 수 있습니다. 일부 모델명과 수치, 고유명사는 문맥에 따라 교정했으며, 확정하기 어려운 부분은 단정하지 않았습니다.
개요
이번 대화의 출발점은 정부의 독자 파운데이션 모델, 이른바 ‘독파모’ 사업에서 공개 벤치마크 성적이 가장 높았던 모티프 모델이 탈락했다는 논쟁이다. 출연진은 이 결과를 단순히 “1등을 떨어뜨린 잘못된 평가”로 규정하지 않고, 모델의 원초적 지능과 실제 서비스 품질, 한국어 사용성, 산업 생태계 기여도, 공공사업의 목적이 서로 다른 평가축이라는 점을 차례로 살펴본다.
후반부에는 논의가 더 넓어진다. Richard Sutton의 Continual Learning(지속 학습) 연구와 현재 LLM의 한계를 검토한 뒤, 조판과 한글 폰트 디자인, 영상 편집처럼 정답을 명확히 정의하기 어려운 작업을 에이전트가 어떻게 반복적으로 개선할 수 있는지를 탐구한다. 결국 영상 전체를 관통하는 질문은 하나다. 좋은 AI란 벤치마크 점수가 높은 모델인가, 당장 일을 잘하는 서비스인가, 아니면 인간이 설정한 목표와 평가 체계 속에서 계속 학습하고 발전할 수 있는 시스템인가.
공개 벤치마크 1등의 탈락이 던진 질문
출연진은 먼저 Artificial Analysis Intelligence Index(AAII)를 여러 벤치마크를 하나의 숫자로 압축해 보여주는 대표적인 참고 지표로 소개한다. 이 순위에서 미국과 중국의 Frontier Model(프론티어 모델)이 상위권을 차지하고, 그 아래에 모티프를 비롯한 한국 모델들이 분포한다는 것이 영상에서 제시된 전체 구도다. 다만 출연진도 벤치마크가 완전히 객관적인 평가 수단은 아니며, 높은 점수가 실제 사용자 경험이나 업무 수행 능력을 그대로 보장하지는 않는다고 전제한다.
논쟁이 커진 이유는 모티프와 다음 순위 한국 모델 사이의 점수 차이가 작지 않았기 때문이다. 영상에서는 그 격차가 10점이며, 이는 당시 GPT 계열 상위 모델 사이의 세대 또는 체급 차이에 비견할 정도라고 설명한다. 그럼에도 모티프가 탈락하고 Upstage, SK텔레콤, LG AI연구원 측 모델이 다음 단계로 진출하면서, 공개 벤치마크와 정부 평가 사이에 왜 이렇게 큰 간극이 생겼는지가 핵심 쟁점으로 떠올랐다.
그러나 이 현상을 이해하려면 우선 “정부가 무엇을 선발하려 했는가”를 물어야 한다. 가장 똑똑한 단일 모델을 고르는 대회였다면 공개 지능 지표의 우승자가 탈락한 결과는 설명하기 어렵다. 반대로 한국어 사용자, 공공기관, 국내 하드웨어와 서비스 기업까지 포괄하는 Sovereign AI(소버린 AI) 생태계를 구축하는 사업이었다면, 모델 점수만으로 결과를 판단하기 어렵다는 것이 출연진의 결론이다.
💡 [영상 참조] 강연자는 이 구간에서 AAII 순위표를 내려가며 글로벌 모델과 한국 모델의 위치를 비교합니다.
📺 원본 영상에서 모델별 정확한 순위와 점수를 확인하세요.
네 후보 모델의 체급과 학습 규모
영상에서 소개된 후보 모델들은 250B에서 750B 사이의 파라미터 규모를 가진 것으로 정리된다. Motif 3는 314B, K-EXAONE 2.0은 750B, A.X K2는 688B, Solar Open 2는 250B 규모다. 중요한 점은 가장 큰 모델이 반드시 가장 높은 벤치마크 점수를 얻지는 않았으며, 상대적으로 작은 모델들이 오히려 좋은 점수를 기록했다는 사실이다.
| 비교 항목 | 영상에서 언급된 범위와 특징 |
|---|---|
| 전체 파라미터 규모 | Motif 3 314B, K-EXAONE 2.0 750B, A.X K2 688B, Solar Open 2 250B |
| 활성 파라미터 규모 | Motif 3 13.2B, K-EXAONE 2.0 37B, A.X K2 33B, Solar Open 2 15B |
| Context Window | Motif 3·K-EXAONE 2.0·A.X K2는 256K, Solar Open 2는 1M |
| Pre-training 데이터 | Motif 3 약 12.5T, K-EXAONE 2.0 업사이클링 후 약 9T, A.X K2 약 8.2T, Solar Open 2 약 12T tokens |
| 지원 GPU | 정부 지원 규모는 B200 기준 팀당 500장에서 약 735장으로 확대됐다고 언급 |
| 주요 공개 데이터 | NVIDIA Nemotron 계열, Hugging Face FineWeb2 등 |
| 모델 구조 | 네 모델 모두 MoE 구조이며 후보별로 Transformer 내부를 수정·개선 |
출연진은 모델의 전체 파라미터 수보다 실제 추론에 동원되는 Activated Parameters(활성 파라미터)와 학습 토큰 수가 계산량을 이해하는 데 더 중요하다고 설명한다. 이 두 요소를 바탕으로 Pre-training(사전 학습) 연산량을 역산하면, 공개 벤치마크에서 높은 점수를 얻은 Motif 3와 Solar Open 2가 반드시 가장 많은 연산을 사용한 모델은 아니었다고 한다. 이는 더 큰 모델과 더 많은 계산이 무조건 더 좋은 결과를 보장하지 않으며, 데이터 정제와 학습 레시피, 구조 설계가 성능에 큰 영향을 미친다는 뜻이다.
데이터 측면에서는 Nemotron 계열과 FineWeb2 같은 공개 Pre-training Corpus(사전 학습 말뭉치)가 공통 기반으로 활용된 것으로 소개된다. 각 팀의 차별점은 여기에 공공 데이터를 어떻게 결합했는지, 원천 데이터를 얼마나 잘 정제·압축했는지, 합성 데이터를 어떤 방식으로 만들었는지에 있을 가능성이 크다. 그러나 출연진이 확인한 범위에서는 일부 팀의 학습 데이터 출처와 제조 과정이 기대만큼 투명하게 공개되지 않았고, 특히 한국어 데이터를 정제하고 합성한 방법을 생태계가 재사용하기 어려웠다는 아쉬움이 남는다.
작은 팀이 증명한 파운데이션 모델 개발의 새로운 경제학
모티프 팀의 인원이 약 30명이라는 설명은 이번 논의에서 중요한 전환점이 된다. 파운데이션 모델 개발은 막대한 GPU와 자본을 필요로 하지만, 모든 작업에 수백 명의 연구자가 필요한 것은 아니라는 사실을 보여주기 때문이다. 핵심 레시피를 이해하고 대규모 학습을 운영할 수 있는 소수 정예 인력이 있다면, 스타트업도 글로벌 상위권에 근접한 Open-weight Model(오픈 웨이트 모델)을 만들 수 있다는 것이 출연진의 해석이다.
이러한 관찰은 프론티어 연구소의 인재 확보 경쟁과도 연결된다. 소수 핵심 연구자와 엔지니어가 학습 레시피, 데이터 처리 방식, 분산 학습 운영 경험을 보유하고 있다면 이들의 이동은 단순한 인력 이동을 넘어 기술 생태계 전체로 지식이 확산되는 경로가 된다. 정부 지원의 가치는 완성된 모델 하나에만 있는 것이 아니라, 대규모 학습을 직접 수행한 엔지니어 집단을 국내에 형성하는 데에도 있다는 주장이다.
SK텔레콤의 GPU 지원 여부에 대해서는 출연진도 확정된 정보가 아니라고 선을 긋는다. 영상에서는 SK텔레콤이 초기에는 GPU 지원 사업자라는 중복 지위 때문에 정부 GPU를 받지 못했고, 이후 지원 범위에 들어온 것으로 알려졌다는 설명이 나온다. 다만 이는 출연진이 전해 들은 배경 정보이며, 정확한 지원 시점과 자체 부담 비용은 공식 자료를 통해 별도로 확인할 필요가 있다.
정부의 평가는 모델 시험이 아니라 생태계 시험이었다
정부 평가는 공개 벤치마크 하나로 결정되지 않았다. 영상에서는 공개 AAII 벤치마크, 문제와 정답을 공개하지 않는 NIA 벤치마크, 전문가 평가, AI 전문 사용자 평가, 일반 국민 평가 등이 함께 사용됐다고 설명한다. 총점 100점은 벤치마크 평가 40점(AAII 25점·NIA 15점), 전문가 평가 35점, 사용자 평가 25점(AI 전문 사용자 15점·일반 국민 10점)으로 구성됐다.
비공개 NIA 벤치마크에서는 SK텔레콤 모델이 1위를 기록한 것으로 소개된다. 출연진은 공개 AAII에서 상대적으로 낮은 모델이 NIA 평가에서 1위가 된 이유로 평가 데이터의 분포 차이를 추정한다. 한국 문화와 지역 지식, 한국어 질의 대응, 국내 사용자가 자주 요구하는 과제의 비중이 컸다면 한국어 평가 항목이 없는 글로벌 AAII와 전혀 다른 순서가 나올 수 있다는 해석이다.
전문가 평가에서는 LG AI연구원 모델이 높은 평가를 받은 것으로 언급된다. 다만 이 평가는 모델을 직접 사용해 점수를 매기는 시험이라기보다 외부 전문가들이 제출 서류를 심사하는 방식이었으며, 개발 전략과 기술, 서비스 적용 실적, 국내 포털 및 응용 서비스와의 연계, 국제기구와의 협업, 국내 NPU 등 다양한 하드웨어에서의 실행 가능성 등이 검토됐다. 정부가 선발하려 한 대상은 고립된 모델 파일이 아니라, 모델을 실제 산업과 국민에게 전달할 수 있는 연합체였다는 의미다.
모티프에 대한 평가 요약은 모델 자체의 품질에 집중된 반면, 다른 후보들의 설명에는 서비스와 인프라, 협력 기업 등 외적인 요소가 상대적으로 많이 등장했다고 한다. 이 차이 때문에 일부에서는 파운데이션 모델 사업에서 모델 외 요소를 평가하는 것이 적절하냐는 의문을 제기했다. 그러나 사업 초기부터 컨소시엄 구성과 국내 AI 생태계 확장이 목표에 포함되어 있었다면, 이러한 요소는 사후에 갑자기 추가된 정치적 기준이 아니라 애초에 주어진 경기 규칙의 일부로 봐야 한다는 것이 출연진의 해석이다.
💡 [영상 참조] 강연자는 이 부분에서 정부 평가 항목과 후보별 평가 결과가 정리된 표 또는 슬라이드를 참조합니다.
📺 원본 영상에서 공식 평가 항목과 배점의 정확한 표기를 확인하세요.
최고점을 보는 산업과 저점을 끌어올리는 공공
출연진은 산업계와 공공부문이 서로 다른 목적함수를 가진다고 설명한다. 산업계의 고급 사용자는 모델에서 가능한 최고 성능, 즉 ‘고점’을 찾는다. 코딩, 수학, 연구 자동화와 같이 난도가 높은 과제에서 얼마나 큰 레버리지를 만들 수 있는지가 가장 중요한 평가 기준이 된다.
반면 공공사업은 사회 전체가 누릴 수 있는 최소 품질, 즉 ‘저점’을 끌어올려야 한다. 한국어로 안정적으로 대화할 수 있는지, AI에 익숙하지 않은 국민도 불편 없이 사용할 수 있는지, 특정 기업이나 집단에 편익이 집중되지 않는지가 중요해진다. 그래서 정부는 일반 국민 평가자를 모집할 때 AI 관심자만 모으지 않고 성별과 연령 등 인구통계학적 다양성을 확보하려 한 것으로 설명된다.
모티프 모델은 일반적인 영어 기반 벤치마크에서 높은 성능을 보였지만, 한국어 응답 중 영어 표현이 섞이는 이른바 ‘판교어’ 문제가 있었다는 사용자 의견도 소개된다. 기술 업계 종사자에게는 대수롭지 않을 수 있지만, 전 국민 대상 서비스라면 접근성을 떨어뜨리는 요소가 될 수 있다. 영상에서는 일반 국민 평가 점수에 후보 간 차이가 있었으나, 정부가 이 점수만으로 당락이 결정된 것은 아니라고 밝혔다는 설명도 덧붙인다.
이 관점에서 모티프의 탈락은 모델 지능에 대한 부정이라기보다 공공사업의 복합 목적에 대한 평가 결과로 이해할 수 있다. 하나의 결정적 강점을 가진 후보보다 여러 이해관계자에게 고르게 기여할 수 있는 후보가 유리해지는 것은 공공 의사결정에서 흔히 나타나는 현상이다. 다만 이러한 평가 방식에서는 날카로운 기술적 돌파가 평균화된 점수 속에서 충분히 보상받지 못할 위험도 함께 존재한다.
직접 사용해 본 네 모델, 지능과 실용성은 달랐다
출연진이 수행한 사용성 평가는 약 2시간 동안 라이브 방송 시청자의 제안을 받아 진행한 비공식 실험이다. 모델별 서빙 환경과 Harness(하네스), 검색 도구, Post-training(후속 학습) 조건이 달랐기 때문에 엄밀한 비교 실험이라고 볼 수는 없다. 출연진도 변인이 통제되지 않았다는 점을 명시하며, 결과를 사용자 체감에 기반한 탐색적 평가로 제한한다.
모티프는 자체 채팅 서비스로 사용했고, Upstage는 공개 후보 모델인 Solar Open 2가 아닌 상용 Solar Pro 4 채팅 서비스를 시험했다. LG 계열 모델은 FriendliAI가 제공하는 API를 통해 웹 검색과 Python 실행 같은 도구를 연결해 사용했으며, SK텔레콤의 A.X K2는 당시 접근 가능한 채팅 서비스나 API가 없어 직접 시험하지 못했다고 설명한다. 따라서 관찰된 차이는 순수한 Base Model(기반 모델) 성능뿐 아니라 검색, 프롬프트, 출력 보정, Tool Calling(도구 호출)까지 합쳐진 시스템 차이이기도 하다.
일상적인 식당 및 장소 추천에서는 Solar가 검색을 활용해 실용적인 결과를 내놓았다고 평가한다. 반면 의도적으로 잘못 구성한 질문, 상식적으로 성립하지 않는 문제, 모델이 모르는 것을 인정해야 하는 과제에서는 모티프가 상대적으로 뛰어난 메타인지와 일관성을 보였다. 수학 실험은 모델과 도구의 오류 때문에 유효한 비교가 어려웠고, 코딩과 게임 제작에서는 후보 모델들이 기대보다 약했으며 당시 상용 Frontier Model과 비교하면 결과물의 수준 차이가 뚜렷했다고 한다.
창작 과제에서도 비슷한 구도가 나타났다. 후보 모델들이 전반적으로 흥미로운 소설을 만들어내지는 못했지만, 모티프는 최소한 이야기의 앞뒤 구조와 문장 일관성을 유지하는 편이었다. 이 경험을 통해 출연진은 높은 벤치마크 점수가 실제로 모델의 기초 지능과 어느 정도 연결되며, 벤치마크를 완전히 무의미한 것으로 치부해서는 안 된다는 쪽으로 생각이 바뀌었다고 말한다.
똑똑한 모델과 일을 잘하는 모델의 차이
모티프에 대한 체감은 “똑똑하지만 아직 일을 매끄럽게 처리하지는 못하는 모델”로 요약된다. 질문의 오류를 감지하고 모르는 것을 모른다고 말하며 글의 논리 구조를 유지하는 능력은 좋았지만, 사용자가 원하는 결과물을 편리하게 완성하는 면에서는 Solar 서비스가 앞섰다는 평가다. 이는 Base Model Intelligence(기반 모델 지능)와 Product Quality(제품 품질)가 서로 다른 층위에 있다는 점을 보여준다.
Solar의 실용성이 높았던 이유로는 두 가지 가능성이 제시된다. Upstage가 오랫동안 서비스를 운영하며 검색, 프롬프트, 응답 형식화 같은 하네스를 다듬었을 수 있고, SFT(Supervised Fine-tuning)와 기타 Post-training을 통해 사용자가 선호하는 답변 형식을 학습시켰을 수도 있다. 어느 쪽이든 사용자가 만나는 것은 원시 모델이 아니라 모델과 도구, 정책, 인터페이스가 결합된 시스템이다.
모티프의 한국어·영어 혼용 현상도 같은 맥락에서 이해할 수 있다. 원시 모델을 직접 서빙한 사용자에게서 영어가 섞인다는 이야기가 있었지만, 출연진이 사용한 자체 채팅 서비스에서는 그러한 문제가 두드러지지 않았다고 한다. 출연진은 하네스가 영어 응답을 번역하거나 한국어 출력을 유도하는 방식으로 이를 보정했을 가능성을 추정하지만, 혼용 현상 자체와 구체적인 구현 모두 직접 확인된 내용은 아니므로 확정할 수 없다.
💡 [영상 참조] 강연자는 이 구간에서 각 모델에 동일하거나 유사한 질문을 입력한 결과와 실제 응답 화면을 비교합니다.
📺 원본 영상에서 응답의 원문과 서비스 환경을 확인하세요.
좋은 파운데이션 모델은 완제품인가, 잠재력인가
직접 비교를 거친 뒤 출연진은 파운데이션 모델의 가치를 어떻게 측정해야 하는지 질문한다. 지금 당장 검색과 업무를 잘 수행하는 완성도 높은 모델이 좋은 파운데이션 모델인지, 아니면 후속 Fine-tuning(미세 조정)을 거치기 전에도 높은 지능과 학습 잠재력을 보이는 모델이 더 좋은 기반인지가 쟁점이다. 생태계 참여자들이 모델을 가져가 각자의 목적에 맞게 조정하는 것이 사업의 목표라면, 후자의 잠재력이 더 중요할 수 있다.
이 관점에서 출연진은 모티프가 향후 도메인별 튜닝의 기반으로서 강한 가능성을 가졌을 것이라고 추정한다. 한국어와 영어가 혼용되는 출력 습관은 후속 학습으로 개선할 수 있지만, 기초 추론력과 메타인지는 뒤에서 새로 만들어내기 더 어려울 수 있기 때문이다. 다만 이는 통제된 Fine-tuning 실험으로 확인된 결론이 아니라, 제한된 사용 경험에서 도출한 가설이다.
모티프가 정부 지원의 다음 단계에서 탈락했더라도 모델의 시장가치가 사라지는 것은 아니다. 영상에서는 모티프가 Open-weight Model만 놓고 보면 글로벌 상위권에 해당하며, 정부 사업 밖에서 해외 투자나 기업용 On-premises(온프레미스) 시장을 공략할 가능성이 있다고 평가한다. 복잡한 공공사업의 루브릭에서 벗어난 것이 오히려 더 빠른 상업화와 글로벌 경쟁의 계기가 될 수도 있다는 역설적인 전망이다.
독파모 사업의 진짜 산출물은 모델보다 사람이다
출연진은 독파모 사업이 필요한 가장 큰 이유를 GPU와 대규모 학습 경험의 국내 축적에서 찾는다. 한국 민간기업의 시장 규모만으로는 수백 장의 최신 GPU를 장기간 투입하는 프로젝트를 감당하기 어려웠기 때문에, 정부가 초기 위험과 비용을 떠맡을 필요가 있었다는 주장이다. 지원을 통해 한 번이라도 대규모 분산 학습을 수행한 엔지니어가 생기면 그 지식은 이직과 창업, 강의와 협업을 통해 사회 전반으로 확산된다.
이러한 기술 확산은 공식 논문이나 공개 레시피만으로 이루어지지 않는다. 고수준의 학습 운영에는 장애 대응, 데이터 혼합, 학습률 조정, 손실 감시처럼 문서로 완전히 전달하기 어려운 암묵지가 포함된다. 출연진은 미국과 중국의 연구자 네트워크에서도 결정적인 힌트와 경험이 인적 관계를 통해 교환된다고 보고, 한국 역시 직접 학습을 수행한 인재 집단을 만들어야 한다고 강조한다.
한국어 문화권이라는 조건도 중요하다. 모든 개발자와 사용자가 영어 자료에 동일하게 접근할 수 있는 것은 아니므로, 한국어로 경험을 공유하고 교육할 수 있는 전문가가 많아질수록 기술의 사회적 확산 속도도 빨라진다. 독파모 사업의 성공 여부는 최종 우승 모델 하나가 아니라, 사업에 참여한 사람들이 이후 얼마나 많은 기업과 연구조직, 스타트업으로 경험을 전파하는지를 통해 장기적으로 평가해야 한다는 시각이다.
Sovereign AI는 어디까지 독자적이어야 하는가
영상은 Sovereign AI의 범위를 두고 근본적인 질문을 제기한다. 모델의 Weight(가중치)를 국내 조직이 보유하면 충분한지, 학습 데이터와 정제 파이프라인도 독자적으로 확보해야 하는지, 더 나아가 NVIDIA GPU 의존에서 벗어날 국내 가속기와 서빙 인프라까지 갖춰야 하는지는 서로 다른 수준의 주권을 의미한다. 독자성의 범위를 넓힐수록 비용은 기하급수적으로 커지기 때문에, 정책 목표를 먼저 명확히 해야 한다.
출연진은 초기에는 미국의 Frontier Model을 사용하면 되는데 왜 별도의 국산 모델에 투자해야 하는지 회의적인 시각도 많았다고 회고한다. 그러나 중국에서 경쟁력 있는 모델이 잇따라 등장하면서 파운데이션 모델 개발이 소수 미국 기업만 할 수 있는 신비한 작업은 아니라는 인식이 확산됐다. 충분한 계산 자원과 데이터 품질, 핵심 엔지니어링 역량이 결합되면 한국도 의미 있는 모델을 만들 수 있다는 증거가 이번 사업을 통해 나타났다는 평가다.
또한 파운데이션 모델이 점차 Commodity(범용재)로 바뀔 가능성도 제기된다. 특정 기업의 독점적 이익은 줄어들 수 있지만, 모델 가격이 낮아지고 더 많은 개인과 기업이 사용할 수 있게 되면 사회 전체의 편익은 커진다. 출연진은 최첨단 모델을 고가의 스포츠카에, 충분한 성능의 보급형 모델을 대중차에 비유하며, 모두가 최고 모델을 소유하지 못하더라도 저렴하고 신뢰할 수 있는 국내 모델이 널리 보급되는 것 자체가 정책적 성과라고 말한다.
한 번의 선정이 아니라 출시 리듬이 중요하다
글로벌 AI 경쟁에서는 모델을 한 번 잘 만드는 것만으로 우위를 유지할 수 없다. 영상에서는 해외 선두 조직처럼 한두 달 단위로 모델을 개선하고 출시할 수 있는 Pacing(개발 주기)을 확보해야 한다고 강조한다. 평가 일정에 맞춰 어렵게 모델을 한 번 제출하는 방식으로는 빠르게 움직이는 미국과 중국의 생태계를 따라가기 어렵다.
여기서 필요한 것은 모델 학습 예산만이 아니다. 데이터 파이프라인, 평가 시스템, 하네스, 서빙 기술과 사용자 피드백을 하나의 반복 가능한 생산 체계로 묶어야 한다. 새 모델을 내놓을 때마다 모든 과정을 처음부터 다시 만드는 것이 아니라, 지속적으로 학습하고 검증하고 배포할 수 있는 조직적 리듬이 형성되어야 한다.
모티프의 등장은 이러한 정부 사업의 긍정적 효과를 보여주는 사례로 평가된다. 사업이 없었다면 30명 안팎의 신생팀이 수백 B 규모 모델을 학습하고 대중적 관심을 받기 어려웠을 가능성이 크다. 비록 최종 선발에서는 탈락했지만, 경쟁 가능한 팀과 모델을 새로 만들어냈다는 사실 자체가 정부 투자의 중요한 산출물이라는 해석이다.
Frontier의 다음 단계, 지속 학습하는 에이전트
영상 후반부는 Richard Sutton의 연구로 시선을 옮긴다. Sutton이 현재 LLM을 비판적으로 보는 핵심 이유는 학습이 끝난 뒤 Weight가 고정되고, 현실에서 행동하며 얻은 경험을 지속적으로 흡수하지 못한다는 점으로 정리된다. 인간과 동물은 환경 속에서 새로운 기술을 획득하지만, 일반적인 LLM은 이미 학습한 분포 안에서 추론할 뿐 스스로 새로운 능력을 계속 축적하지 못한다는 문제의식이다.
Sutton이 제시한 방향 중 하나는 파라미터마다 서로 다른 Step Size(학습 보폭)를 갖게 하는 방식이다. 오래 보존해야 할 지식을 담당하는 파라미터는 변화율을 0에 가깝게 두고, 새로운 환경에 적응해야 하는 파라미터는 더 적극적으로 갱신하도록 만드는 구상이다. 모델 전체에 하나의 Learning Rate(학습률)를 적용하는 대신, 무엇을 기억하고 무엇을 바꿀지를 학습 시스템 자체가 조절하게 하려는 접근이다.
또 다른 구성 요소로 Continual Backpropagation(지속적 역전파)이 소개된다. 오랫동안 거의 사용되지 않는 파라미터 공간에 무작위성을 다시 주입해 새로운 표현을 학습할 여지를 만드는 방식으로, 출연진은 이를 뇌의 가소성과 유사한 아이디어로 설명한다. 고정된 네트워크가 점차 경직되는 것을 막고, 경험에 따라 새로운 기능을 획득할 수 있는 여백을 계속 재생한다는 것이다.
Sutton 측 연구의 장기적인 목표로는 5년에서 10년 사이에 약 1T 규모의 모델이 지속 학습하며 경험을 통해 성장하는 모습을 구현하려는 구상이 언급된다. 영상에서는 더 나아가 이러한 모델을 약 20W 수준에서 구동하려는 장기적 상상도 소개하지만, 이는 현재 달성된 사양이 아니라 연구 방향과 미래 목표에 해당한다. 현재의 Transformer 중심 인프라를 당장 폐기해야 한다는 주장이 아니라, 기존 체제 밖의 가능성도 함께 탐색해야 한다는 의미로 이해해야 한다.
Hill Climbing이 잘하는 것과 놓치는 것
현재 에이전트는 평가 지표가 명확한 작은 문제에서 매우 뛰어난 Hill Climbing(언덕 오르기식 최적화)을 수행한다. 여러 가설을 병렬로 구현하고 결과를 측정한 뒤, 더 좋은 방향으로 수치를 조금씩 조정하는 작업은 이미 상당히 자동화할 수 있다. 코딩 테스트나 성능 지표처럼 정답을 기계적으로 확인할 수 있는 영역에서는 이러한 반복이 빠르고 저렴하다.
문제는 큰 방향을 바꾸어야 할 때 발생한다. 좁은 지표를 계속 개선하면 Local Optimum(국소 최적점)에 갇혀 전체 목적과 멀어질 수 있지만, 모델은 스스로 한 걸음 물러나 “애초에 이 지표가 맞는가”를 묻는 데 약하다. 인간이 전체 결과를 조망하고 놓친 가치를 지적하면 모델도 문제를 이해하지만, 그 조망 행위 자체를 반복 루프 안에 안정적으로 넣기는 어렵다는 것이 출연진의 경험이다.
대규모 Pre-training처럼 한 번의 실험 비용이 매우 높은 영역에서는 이 한계가 더 심각하다. 작은 실험은 수십 개를 병렬로 실행할 수 있지만, 막대한 비용이 드는 학습 Run은 몇 번만 선택할 수 있으므로 연구자의 취향과 직관에 크게 의존하게 된다. 모델이 그 선택 자체를 스스로 개선하지 못한다면, 현재의 Recursive Self-improvement(재귀적 자기개선)는 엄밀한 의미의 자기 초월이 아니라 주어진 지능 범위 안에서의 반복 최적화에 머물 수 있다는 의문이 제기된다.
검증하기 어려운 디자인을 어떻게 수치화할 것인가
출연진은 Non-verifiable Problem(정답을 명확하게 검증하기 어려운 문제)을 에이전트가 다루게 만드는 실험으로 조판과 한글 폰트 디자인을 소개한다. 조판에는 글자 크기와 줄 간격, 문단 간격, 양끝 맞춤, 행의 들쭉날쭉함처럼 어느 정도 측정할 수 있는 속성이 존재한다. 미적 완성도를 직접 숫자로 표현할 수는 없지만, 읽기 편한 결과와 상관관계가 있는 Proxy Metric(대체 지표)을 설계할 수 있다는 것이다.
Knuth–Plass 줄바꿈 알고리즘은 이런 접근의 대표 사례로 언급된다. Dynamic Programming(동적 계획법)을 이용해 문단 전체의 줄바꿈 품질을 최적화할 수 있지만, 이미지와 복합 배치를 함께 고려하면 계산 문제가 훨씬 어려워진다는 설명이다. 출연진은 기존 조판 연구와 현대 라이브러리를 활용하면 전문 디자이너의 미세 조정에는 못 미치더라도, 읽을 만한 결과를 자동으로 만드는 수준에는 도달할 수 있다고 평가한다.
한글 조합형 폰트는 자유도가 훨씬 높다. 초성·중성·종성의 공간 배치와 획의 관계는 상호 의존적이어서, 한 글자를 예쁘게 만들기 위한 조정이 다른 글자를 깨뜨릴 수 있다. 펜 각도와 Stroke(획)의 생성 방식, Bézier Curve(베지어 곡선), 글자 내부 여백을 함수화할 수는 있지만, 그렇게 조합된 글자가 실제로 아름다운지는 별개의 문제다.
실험에서는 Noto Sans KR과 같은 참조 폰트의 공간 구조에 얼마나 가까운지를 대체 지표로 삼고, 모델이 가설을 세우고 여러 변형을 생성한 뒤 측정과 수정을 반복하게 한다. 그러나 출연진이 보기에는 아직 “한글이 조립된다”는 단계와 “실제로 사용할 만한 글꼴이 된다”는 단계 사이에 큰 간극이 남아 있다. 리뷰어 모델도 세부 지표만 조금씩 개선하는 Hill Climbing에 빠지기 쉬워, 전체적인 미감을 안정적으로 감독하지 못한다.
💡 [영상 참조] 강연자는 이 구간에서 조판 비교 화면과 Parametric Hangul Font(파라메트릭 한글 폰트)의 획·공간 조정 과정을 보여줍니다.
📺 원본 영상에서 시각적 차이와 생성 결과를 확인하세요.
인간의 취향을 추출하는 자동 연구 루프
출연진은 디자인 작업의 자동화를 단순 생성 문제로 보지 않는다. 먼저 인간 전문가가 만든 결과물이나 작업 과정을 관찰하고, 그 안에 숨어 있는 선호와 규칙을 Proxy Metric으로 변환해야 한다. 그런 다음 모델이 결과물을 생성하고 평가자가 차이를 측정하며, 부족한 부분을 다시 수정하는 Auto-research(자동 연구) 루프를 구성한다.
조판에서는 좋아하는 책의 페이지를 스캔한 뒤 SVG로 근사하고, 특정 디자이너가 공간과 활자를 다루는 원리를 반복적으로 추출하는 방법이 제안된다. 영상 편집에서도 편집자의 과거 작업을 보여주고, 모델이 결과를 모방하도록 평가 지표를 조정하면 그 사람의 편집 스타일과 유사한 Proxy를 만들 수 있다고 한다. 이는 완전히 새로운 미학을 발명하는 것과는 다르지만, 이미 존재하는 숙련자의 스타일을 재현하고 생산 속도를 높이는 데에는 상당한 영향을 줄 수 있다.
여기서 인간의 역할은 사라지기보다 상위 층위로 이동한다. 현재 인간은 목표를 설정하고, 무엇이 좋은 결과인지 판정하며, 모델이 최적화해야 할 기준을 설계한다. 모델의 출력 품질은 결국 인간이 만든 Objective(목적함수)와 Evaluation(평가)의 품질에 연결되므로, 기술적 구현만큼 철학적·경영적 판단이 중요해진다.
종횡으로 읽는 지식 인터페이스
영상에서는 긴 Transcript를 단순히 요약하지 않고 ‘늘려 읽기’ 위한 개인용 인터페이스도 소개된다. 화자별 표시와 감정 표현을 추가하고, 생소한 용어를 미리 조사하며, 핵심 개념을 SVG 다이어그램으로 생성해 원문에 배치하는 방식이다. 사용자는 메모와 형광펜 표시를 남기고, 결과를 다른 작업의 입력으로 다시 내보낼 수 있다.
하지만 세로로 긴 문서만으로는 여러 자료 사이의 관계를 기억하기 어렵다는 문제가 생긴다. 이를 보완하기 위해 출연진은 각 영상과 글을 가로 방향으로도 연결해 탐색할 수 있는 Zoomable Interface(확대·축소형 인터페이스)를 만들었다고 설명한다. 세로축에서는 개별 자료를 깊이 읽고, 가로축에서는 관련된 자료를 비교함으로써 인간의 공간적 인지를 활용하는 것이다.
다이어그램은 화면을 축소했을 때도 의미 있는 Anchor(앵커)로 남는다. Semantic Zoom(의미적 확대·축소)의 관점에서 보면, 확대 수준에 따라 세부 텍스트가 사라져도 핵심 도형과 관계는 유지될 수 있다. 출연진은 1차원 토큰 흐름을 다루는 LLM과 달리 인간이 시각적 배치와 공간 관계를 활용해 정보를 파악한다는 차이를 이 도구가 잘 보여준다고 말한다.
💡 [영상 참조] 강연자는 이 구간에서 Transcript를 확장한 HTML 문서와 여러 자료를 종횡으로 배치한 Zoomable Interface를 시연합니다.
📺 원본 영상에서 실제 인터랙션과 다이어그램 배치를 확인하세요.
에이전틱 워크플로우의 핵심은 Control Plane이다
출연진이 실제 업무에서 사용하는 에이전트 시스템은 하나의 모델과 대화하는 수준을 넘어선다. 여러 Sub-agent(하위 에이전트)에게 가설 수립과 구현을 병렬로 나누어 맡기고, Orchestrator(오케스트레이터)가 결과를 병합하며, Reviewer(리뷰어)가 평가 기준을 통과했는지 검사한다. 검증에 실패하면 작업을 다시 돌리고, 여러 차례 문제가 발견되지 않을 때만 인간에게 결과를 제출하도록 한다.
이 구조에서 중요한 것은 단위 시간당 얼마나 많은 토큰을 사용하는지가 아니라, 토큰이 검증 가능한 반복 과정에 투입되는가이다. 출연진은 과거에는 주간 토큰 한도가 남았지만, 최근에는 Evaluation Loop(평가 반복)를 여러 차례 강제하면서 며칠 만에 한도를 소진한다고 말한다. 인간이 한 번 보고 끝낼 수도 있는 일을 모델에게 반복시켜 다양한 부산물과 대안을 생성하게 하고, 그 과정에서 예상하지 못한 해결책을 발견하는 방식이다.
이러한 품질 강제 장치를 출연진은 Control Plane(제어 평면)이라고 부른다. 작업 요구사항과 평가 지표가 제대로 대응하는지 확인하고, 누락된 조건이 있으면 결과물을 수락하지 않는 상위 통제 시스템이다. 에이전트가 자율적으로 많은 일을 하게 할수록, 개별 프롬프트보다 이런 수락 조건과 재시도 규칙이 전체 품질을 좌우한다.
인간도 이 루프에서 학습한다. 모델이 새로운 알고리즘과 관련 논문, 구현체를 찾아와 문제에 적용하면 사용자는 그 이름과 개념을 익히고 자신의 판단 기준을 수정한다. 모델의 Weight가 실시간으로 바뀌지 않더라도, 모델과 함께 일하는 인간의 지식과 도구 범위가 확장되면서 인간–AI 결합 시스템 전체는 계속 학습하는 셈이다.
웹 인터페이스만으로도 가능한 고급 작업
소개된 작업 대부분은 전용 CLI나 로컬 개발 환경이 아니라 일반적인 웹 기반 AI 인터페이스와 원격 Container(컨테이너)를 통해 수행됐다고 한다. 브라우저에서 실행되는 작업 공간이 파일 생성과 코드 실행, 시각적 Preview(미리보기), 반복 수정까지 지원하면서 웹 채팅과 코딩 에이전트의 경계가 흐려지고 있다는 설명이다. 출연진은 개발자조차 웹 인터페이스가 이미 제공하는 실행 능력을 과소평가할 수 있다고 지적한다.
장기적으로는 강력한 로컬 컴퓨터를 직접 보유해야 할 필요가 줄어들 가능성도 제기된다. 작업을 클라우드 컨테이너에 넣으면 필요한 계산 자원이 동적으로 할당되고, 사용자는 텍스트로 목표와 피드백만 전달하는 형태가 될 수 있기 때문이다. 다만 UX 디자인이나 영상 편집처럼 결과를 실시간으로 눈으로 확인해야 하는 작업에서는 여전히 로컬 인터랙션과 시각적 검수가 중요하다.
출연진이 지향하는 궁극적인 형태는 인간이 직접 모든 도구를 조작하지 않아도 되는 Operator Agent(운영 에이전트)다. 사용자는 해야 할 일을 텍스트로 지시하고, 에이전트가 컴퓨터와 서비스, 파일과 도구를 대신 다루도록 시스템을 구성한다. 이때 인간의 생산성을 결정하는 것은 타이핑 속도나 특정 소프트웨어 숙련도가 아니라, 무엇이 가능한지 상상하고 좋은 목적과 검증 기준을 설계하는 능력이 된다.
마무리 / 핵심 정리
모티프의 탈락은 벤치마크가 무의미하다는 증거도, 정부 평가가 잘못됐다는 단순한 결론도 아니다. 공개 벤치마크는 모델의 기초 지능을 포착했고, 실제 사용에서도 모티프의 메타인지와 일관성이 어느 정도 확인됐다. 반면 독파모 사업은 한국어 사용성, 서비스 적용, 인프라 협력, 국민 접근성과 생태계 확산까지 포함하는 복합 정책이었기 때문에 다른 결과가 나올 수 있었다.
따라서 모델을 평가할 때는 기반 지능, 후속 튜닝 가능성, 하네스가 결합된 실용성, 사회적 보급 능력을 구분해야 한다. 당장 일을 잘하는 서비스와 장기적으로 좋은 기반이 될 파운데이션 모델은 동일하지 않을 수 있다. 정책은 이 가운데 어떤 가치를 우선하는지 투명하게 제시하고, 기술적 고점을 가진 팀이 평균화된 평가 속에서 사라지지 않도록 별도의 성장 경로도 마련할 필요가 있다.
독파모 사업의 더 큰 의미는 네 후보의 순위보다 대규모 학습을 경험한 사람과 조직, 반복 가능한 개발 체계를 국내에 남겼다는 데 있다. 모티프처럼 작은 팀도 경쟁력 있는 모델을 만들 수 있다는 사실은 사업의 실패가 아니라 오히려 중요한 성과다. 앞으로의 관건은 단발성 경연을 넘어 모델과 하네스를 짧은 주기로 계속 개선하는 생태계를 만들 수 있느냐에 있다.
후반부의 Continual Learning과 에이전틱 워크플로우 논의도 같은 결론으로 이어진다. 모델의 크기만 키우는 것으로는 경험을 통해 스스로 추상화하고 목적함수를 재설계하는 능력을 완성하기 어렵다. 당분간 인간은 목표와 취향, 평가 기준을 설계하는 역할을 맡고, 에이전트는 그 기준 안에서 탐색과 구현, 검증을 반복하게 될 가능성이 크다.
결국 Frontier는 특정 모델의 순위가 아니라 지속적으로 개선되는 시스템의 속성이다. 국가에는 계산 자원과 인재, 서비스와 인프라를 연결하는 생태계가 필요하고, 개인과 조직에는 에이전트의 작업을 검증하고 재시도하게 만드는 Control Plane이 필요하다. 좋은 AI를 만드는 문제와 AI로 좋은 일을 만드는 문제는 서로 다르지만, 두 문제 모두 명확한 목적과 평가 체계를 설계하는 능력에서 출발한다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | EP 111. 벤치마크 1등이 탈락했다? 독파모 4파전 결과 살펴보기 |
| 채널 | AI Frontier Korea (노정석) |
| 영상 길이 | 약 88분 |
| 리포트 작성 | 2026-08-24 |
| 작성 방식 | YouTube 영상 STT 변환 후 문맥 교정 및 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 모델별 정확한 사양과 평가 배점, 화면에 제시된 표와 실험 결과는 원본 영상을 참조해 주세요.