The New Primitives Building AI Native Software — Kwindla Kramer, Daily
📺 원본 영상: The New Primitives: Building AI Native Software — Kwindla Kramer, Daily
🎙️ 채널: AI Engineer
📅 정리 일자: 2026-08-08
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
Kwindla Kramer는 이 강연에서 현재의 AI 에이전트 열풍을 단순한 제품 트렌드가 아니라, 디지털 컴퓨팅 역사에서 반복되어 온 인터페이스와 추상화의 전환점으로 해석한다. 그는 Vannevar Bush의 「As We May Think」, Apple의 Knowledge Navigator, 웹과 모바일 컴퓨팅, 그리고 현재의 음성 에이전트와 멀티모달 시스템을 하나의 긴 흐름으로 연결하면서, “에이전트 다음”에 올 AI 네이티브 소프트웨어의 원시 요소가 무엇인지 묻는다.
강연의 핵심은 에이전트가 최종 형태가 아니라는 점이다. 1995년의 웹 페이지가 오늘날의 웹 애플리케이션과 모바일 앱으로 확장되었듯이, 오늘날의 에이전트도 더 큰 소프트웨어 패러다임의 초기 단위일 가능성이 높다. Kramer는 이 전환을 이해하려면 최신 모델 성능만 보는 것이 아니라, 인간의 의도를 컴퓨터에 전달하는 방식이 지난 80년 동안 어떻게 바뀌어 왔는지를 함께 봐야 한다고 주장한다.
에이전트는 시작점이지 종착점이 아니다
Kramer는 자신이 Daily에서 실시간 오디오, 비디오, AI를 위한 개발자 인프라를 만들고 있으며, Pipecat이라는 오픈소스 음성 에이전트 프레임워크를 개발하고 있다고 소개한다. Pipecat은 벤더 중립적인 프레임워크로, AWS, NVIDIA, Anthropic을 비롯한 여러 기업과 스타트업에서 사용되고 있다고 설명된다. 이 출발점은 중요하다. 강연자가 AI 에이전트를 관찰자로서 논하는 것이 아니라, 실제로 음성 에이전트와 실시간 멀티모달 인프라를 만드는 입장에서 다음 소프트웨어 형태를 고민하고 있기 때문이다.
그가 보기에 2026년의 AI 엔지니어링은 에이전트를 중심으로 소프트웨어 스택을 재구성하는 단계에 있다. Satya Nadella의 발언을 인용하며, Kramer는 현대적인 에이전트 시스템이 모델, 데이터, 도구를 하나의 “harness” 안에서 엮고, 도구를 점진적으로 노출하며, 풍부한 컨텍스트를 공급하는 방향으로 진화하고 있다고 설명한다. 여기서 중요한 표현은 단순한 도구 호출(tool calling)이 아니라 “루프”와 “컨텍스트 엔지니어링(context engineering)”이다. 에이전트는 한 번 응답하고 끝나는 챗봇이 아니라, 환경을 읽고, 도구를 쓰고, 결과를 다시 컨텍스트로 가져오며, 다음 행동을 조정하는 실행 시스템이 되고 있다.
Kramer는 이 흐름을 “agents++”에 가깝다고 표현한다. 이는 음성 에이전트만을 뜻하지 않고, 모든 소프트웨어 안에 내장되는 코파일럿, 조직 단위의 멀티모달 harness, 토큰 효율성을 고려한 도구 노출, 그리고 장기 실행되는 작업 위임까지 포함하는 더 넓은 범주다. 하지만 그는 여기서 멈추지 않는다. 웹 초창기에 모두가 “웹 페이지”에 열광했지만 결국 더 큰 변화는 웹 애플리케이션과 모바일 네이티브 앱으로 이어졌듯이, 현재의 에이전트도 AI 네이티브 소프트웨어로 가는 초기 형태일 수 있다는 것이 강연의 문제의식이다.
Vannevar Bush에서 Memex까지: 컴퓨팅 이전에 존재했던 소프트웨어 상상력
Kramer는 AI 네이티브 소프트웨어의 미래를 말하기 위해 1945년으로 돌아간다. Vannevar Bush의 「As We May Think」는 화면 위의 문서 표시, OCR(광학 문자 인식), Speech-to-Text(음성 인식), Text-to-Speech(음성 합성), 프로그래밍 언어, 하이퍼텍스트, 검색 엔진, 데이터 네트워크, 음성 인터페이스, 뇌-컴퓨터 인터페이스까지 예견한 글로 소개된다. STT에서는 “mimics”처럼 들리지만, 문맥상 Bush가 제안한 장치는 Memex로 교정하는 것이 타당하다.
이 대목에서 Kramer가 강조하는 것은 예측의 정확도 자체가 아니다. 그는 Bush가 디지털 컴퓨팅 시대의 초입에서 아직 존재하지 않는 소프트웨어 형태를 상상했다는 점에 주목한다. 지금의 AI 엔지니어들도 비슷한 위치에 있다는 것이다. 우리는 이미 모델, 음성 인터페이스, 도구 호출, 벡터 검색, 멀티모달 입출력 같은 재료를 갖고 있지만, 그것들이 장기적으로 어떤 일상적 소프트웨어 형태로 굳어질지는 아직 알지 못한다.
Bush가 주판(abacus)에서 전기기계식 계산기로, 다시 산술 기계와 Memex로 이어지는 도약을 상상했다면, Kramer는 이를 현대적으로 재작성한다. 그의 타임라인은 주판에서 stored-program computer(저장 프로그램 컴퓨터), 개인용 컴퓨터, 그리고 AI 에이전트 시대로 이어진다. 이 구조는 AI를 독립된 사건이 아니라, 인간 의도를 기계에 전달하고 기계의 출력을 인간 작업으로 되돌리는 방식이 바뀌어 온 긴 역사 속에 배치한다.
05:22 - Vannevar Bush의 타임라인과 주판에서 전기기계식 계산기, 산술 기계, Memex로 이어지는 역사적 도약
프로그래밍 언어, 인터랙션, 데이터베이스: 인간 의도를 기계에 전달하는 기술
1950년대의 핵심 과제는 인간의 의도를 새로운 계산 기계에 더 효과적으로 전달하는 방법을 찾는 것이었다. Kramer는 이 시기에 최초의 프로그래밍 언어와 컴파일러가 등장했다고 설명한다. 여기에는 수학적 형식성의 엄밀함과 자연어에 가까운 표현력을 결합하려는 노력이 있었다. 다시 말해, 프로그래밍 언어는 단순히 기계에게 명령을 내리는 문법이 아니라, 인간 사고를 계산 가능한 구조로 바꾸는 인터페이스였다.
1960년대에는 컴퓨터를 상호작용 가능한 기계로 만드는 것이 중요한 과제가 되었다. 인간이 명령을 입력하고 결과를 기다리는 일방향 구조에서 벗어나, 컴퓨터와 사람이 왕복 대화를 나누는 방향으로 발전한 것이다. Ivan Sutherland의 Sketchpad 같은 그래픽 프로그래밍 시스템도 이 시기에 등장했는데, 이는 화면 위의 도형을 조작하는 일이 곧 계산과 설계가 될 수 있음을 보여준 사례다. Kramer는 이와 함께 Star Trek의 말하는 컴퓨터와 HAL 9000 같은 SF 속 컴퓨터를 언급하며, 대중적 상상력이 기술 발전의 방향을 형성하는 데 중요한 역할을 한다고 본다.
1970년대에는 컴퓨터의 성능이 높아지면서 더 큰 데이터와 더 복잡한 계산 기반을 다룰 수 있는 추상화가 필요해졌다. 이 시기에 relational database(관계형 데이터베이스)가 등장했고, 데이터 조작을 위한 새로운 이론적 기반과 declarative language(선언형 언어)가 발전했다. Smalltalk와 객체지향 프로그래밍(Object-Oriented Programming)도 이 흐름 안에 놓인다. Kramer의 관점에서 이 모든 기술은 개인용 컴퓨터 시대를 가능하게 만든 기반이었다. 개인용 컴퓨터는 갑자기 나타난 제품이 아니라, 수십 년 동안 축적된 언어, 인터랙션, 데이터 추상화가 사용자의 책상 위로 내려온 결과였다.
VisiCalc가 보여준 새로운 추상화의 힘
Kramer는 1980년대 개인용 컴퓨터의 상징적 사례로 VisiCalc를 든다. VisiCalc는 개인용 컴퓨터용 최초의 스프레드시트 프로그램으로, 수치 계산을 2차원적이고 상호작용 가능한 형태로 바꾼 새로운 추상화였다. 오늘날 Google Sheets나 Microsoft Excel을 사용하는 대부분의 사람들은 VisiCalc의 직접적인 후손을 쓰고 있는 셈이며, 이는 특정 소프트웨어 형식이 얼마나 오래 지속될 수 있는지를 보여준다.
09:57 - VisiCalc와 스프레드시트의 변화, 1957년과 1985년의 계산 작업 형태 비교
이 사례가 AI 논의에서 중요한 이유는, VisiCalc가 전문 지식과 인력이 필요했던 작업을 더 넓은 사용자층에게 개방했기 때문이다. Kramer는 VisiCalc가 회계사를 실직시킨 것이 아니라, 회계와 유사한 종류의 작업을 훨씬 더 많이 가능하게 만들었다고 해석한다. 이는 AI가 대규모 실업을 불러올 것이라는 우려에 대한 하나의 반례로 제시된다. 물론 이 비유가 AI의 모든 경제적 영향을 설명하지는 못하지만, 새로운 추상화가 기존 직업을 단순히 대체하는 것이 아니라 작업의 총량과 범주를 확장할 수 있다는 점은 중요한 통찰이다.
AI 에이전트도 같은 질문 앞에 서 있다. 현재의 에이전트가 특정 업무를 자동화하는 도구로만 남는다면 영향은 제한적일 수 있다. 그러나 VisiCalc가 숫자 계산의 의미를 바꾸었듯이, AI 네이티브 소프트웨어가 협업, 분석, 창작, 운영, 게임, 교육 같은 영역에서 새로운 작업 단위를 만들어낸다면 변화의 폭은 훨씬 커진다. Kramer가 “새로운 primitive”를 묻는 이유도 여기에 있다. 혁신은 종종 완제품보다 더 아래쪽, 즉 사람들이 이후 수십 년 동안 반복적으로 조합하게 될 기본 추상화에서 시작된다.
Knowledge Navigator와 웹: 멀티모달 컴퓨팅의 장기 과제
1987년 Apple의 Knowledge Navigator는 Kramer가 강연 중 특별히 중요하게 다루는 사례다. 이 콘셉트 영상은 접히는 태블릿, 터치스크린, 개성 있는 대화형 음성 비서, 전역 정보와 개인 정보 접근, 실시간 비디오 생성, 컴퓨터 비전, 영상 통화 통합, 복잡한 작업의 자율 실행 위임, 오늘날 말하는 continual learning(지속 학습)에 가까운 요소를 보여준다. Kramer는 이 영상이 「As We May Think」의 영향을 받았지만, 40년의 컴퓨팅 발전을 반영해 훨씬 더 현대적인 AI 에이전트 시대를 예고했다고 본다.
11:40 - Apple Knowledge Navigator 영상의 음성 비서, 개인 메시지, 일정 관리, 접이식 태블릿 개념
흥미로운 점은 이 비전이 곧바로 실현되지 않았다는 사실이다. 1990년대의 핵심은 네트워크였고, 웹은 그중에서도 가장 중요한 전환점이었다. Kramer는 웹의 가장 중요한 특성이 처음부터 멀티모달이었다는 점이라고 말한다. 텍스트, 오디오, 비디오, 데이터가 서로 다른 프로그램 안에 갇히는 것이 아니라, 하나의 네트워크 문서와 애플리케이션 경험 안에서 함께 존재할 수 있다는 것이 웹의 본질이었다는 해석이다.
이 관점은 오늘날 AI 네이티브 소프트웨어를 이해하는 데 직접 연결된다. AI 모델은 텍스트만 다루는 엔진에서 음성, 이미지, 비디오, 행동, 도구 호출을 함께 다루는 시스템으로 빠르게 이동하고 있다. 따라서 AI 네이티브 소프트웨어의 핵심도 “챗 인터페이스”가 아니라 멀티모달 작업 공간일 가능성이 높다. 사용자는 말하고, 보고, 선택하고, 수정하고, 위임하며, 소프트웨어는 그 모든 신호를 하나의 실행 컨텍스트로 이해해야 한다.
화면 밖으로 나온 인터페이스: Minority Report, Iron Man, 그리고 공간적 컴퓨팅
2000년대 초반의 컴퓨팅 상상력은 모바일, 카메라, 저렴해진 디스플레이, 그리고 어디서나 연결되는 네트워크를 배경으로 확장되었다. Kramer는 이 시기의 대표적 상상력으로 John Underkoffler가 참여한 Minority Report와 Iron Man의 인터페이스를 언급한다. Minority Report의 제스처 인터페이스는 영화적 특수효과였지만, MIT Media Lab에서의 박사 연구에 기반한 실제 기술적 아이디어이기도 했다. 이는 UI가 작은 화면 안에 갇히지 않고, 인간이 움직이는 공간 전체로 확장될 수 있음을 보여준 사례다.
14:32 - Minority Report의 제스처 인터페이스와 MIT Media Lab 기반 기술
Iron Man의 JARVIS는 훨씬 더 낙관적이고 장난스러운 미래상을 보여준다. Kramer는 이를 Star Trek식 미래주의 전통에 가깝다고 보면서도, Minority Report와 Iron Man 사이에 공통된 인터페이스 요소가 있다고 설명한다. 두 사례 모두 사용자가 키보드와 마우스만으로 컴퓨터를 조작하는 것이 아니라, 음성, 제스처, 시각적 피드백, 실시간 시스템 반응을 통해 복합적으로 기계와 상호작용한다. 오늘날의 AI 에이전트가 음성 대화와 도구 실행을 결합하는 것도 이 흐름의 연장선에 있다.
Kramer는 2006년에 John Underkoffler와 함께 Minority Report식 인터페이스를 상용 제품으로 만들기 위한 스타트업을 공동 창업했다고 말한다. 이 경험은 그의 현재 관심사와도 연결된다. 그가 지금 AI 네이티브 소프트웨어를 말할 때 상상하는 것은 단순한 채팅창이 아니라, 멀티모달, 멀티디바이스, 멀티스크린, 멀티플레이어, 그리고 항상 연결된 컴퓨터다. 2010년대 클라우드 인프라가 AI 학습과 추론을 확장할 수 있는 데이터센터와 데이터 용량을 마련했다면, 2020년대의 과제는 그 인프라 위에서 새로운 상호작용 형식을 만드는 것이다.
AI 네이티브 소프트웨어의 원시 요소: 루프, 도구, 컨텍스트, 실시간성
Kramer가 말하는 AI 네이티브 소프트웨어는 기존 소프트웨어에 챗봇을 붙이는 수준을 넘어선다. 이 소프트웨어는 LLM(Large Language Model)을 모든 상호작용의 중심에 두고, 사용자의 자연어 입력을 단순 명령으로 처리하는 것이 아니라, 상태, 목표, 도구, 다른 에이전트, 사용자 인터페이스와 연결한다. 여기서 원시 요소는 버튼, 메뉴, 페이지 같은 전통적 UI 단위만이 아니라, 추론 호출, 컨텍스트 압축, 도구 노출, 장기 실행 subagent, 동적 UI 생성, 음성 대화 같은 실행 단위가 된다.
강연 후반에는 Apple Knowledge Navigator의 오래된 비전을 Tavus가 재해석한 데모도 제시된다. 여기서는 단순한 미래 콘셉트가 아니라, 실제로 사용 가능한 AI 기술을 통해 개인 일정과 메시지를 검토하고 사용자의 요청을 수행하는 장면이 강조된다. Kramer의 논점은 과거에는 영상 속 상상에 가까웠던 상호작용이 이제는 실시간 음성, 비디오, 개인 데이터 접근, 도구 실행을 결합한 제품 수준의 데모로 내려오고 있다는 것이다.
18:48 - Tavus가 재해석한 Knowledge Navigator 데모에서 실제 사용 가능한 기술로 일정 검토를 수행하는 장면
강연 후반부의 게임 프로젝트는 이 주장을 구체화한다. Kramer는 Gradient Bang이라는 멀티플레이어 게임을 소개하며, 이 게임이 모든 상호작용의 핵심에 LLM을 두고 만들어졌다고 설명한다. 게임 내 매 순간 수백 개의 inference call(추론 호출)이 발생하며, 이런 구조는 1년 전만 해도 만들기 어려웠다고 말한다. 이 발언은 모델 성능만이 아니라 추론 비용, 지연 시간, 오케스트레이션 인프라, 컨텍스트 관리가 함께 발전했기 때문에 가능한 변화로 이해할 수 있다.
이 데모에서 그는 asynchronous non-blocking context compression(비동기 논블로킹 컨텍스트 압축), long-running subagents(장기 실행 서브에이전트), progressive skills loading(점진적 스킬 로딩), dynamic user interface generation(동적 사용자 인터페이스 생성), conversational voice(대화형 음성)를 패턴으로 제시한다. 이는 AI 네이티브 소프트웨어가 어떤 구조를 가질지 보여주는 중요한 힌트다. 사용자는 “작업 기록을 보여줘”, “지도를 숨겨줘”, “이 배를 팔고 싶다”처럼 자연어로 요청하고, 시스템은 게임 상태와 규칙, UI, 에이전트 작업을 함께 조정한다. 이때 자연어는 단순 입력 방식이 아니라, 소프트웨어의 상태 전이를 유발하는 고수준 제어 언어로 작동한다.
20:14 - AI 네이티브 멀티플레이어 게임 데모에서 동적 UI 생성과 작업 기록 표시, 지도 숨기기 같은 상호작용
“agents++” 이후의 질문: 무엇이 웹 애플리케이션에 해당하는가
Kramer의 가장 중요한 비유는 웹 페이지와 웹 애플리케이션의 관계다. 1995년에는 웹 페이지 자체가 새롭고 흥미로운 대상이었지만, 시간이 지나면서 사람들은 웹 페이지보다 웹 애플리케이션, 네이티브 모바일 애플리케이션, 클라우드 서비스, 실시간 협업 도구를 더 많이 이야기하게 되었다. 웹 페이지는 사라지지 않았지만, 더 큰 소프트웨어 생태계 안의 하나의 기본 단위가 되었다.
현재의 에이전트도 비슷한 운명일 수 있다. 음성 에이전트, 업무 에이전트, 코딩 에이전트는 지금은 가장 눈에 띄는 형태지만, 장기적으로는 더 넓은 AI 네이티브 애플리케이션의 구성 요소가 될 가능성이 높다. 이때 중요한 질문은 “더 똑똑한 에이전트를 어떻게 만들 것인가”만이 아니다. 오히려 “에이전트들이 어떤 UI, 어떤 데이터 구조, 어떤 권한 모델, 어떤 협업 환경, 어떤 실시간 인프라 안에서 작동해야 하는가”가 더 큰 설계 문제가 된다.
Kramer가 Knowledge Navigator, Memex, JARVIS를 다시 호출하는 이유도 이 때문이다. 과거의 비전들은 각각 문서 연결, 개인 지식 탐색, 음성 비서, 멀티모달 작업 공간, 자율 실행이라는 요소를 상상했다. 이제는 그 요소들을 실제 기술로 구현할 수 있는 조건이 갖춰지고 있다. 다만 다음 단계의 소프트웨어는 과거 비전을 그대로 복제하는 것이 아니라, 그것을 만들어 보는 과정에서 새롭게 발견될 것이다. 그는 “그것들을 실제로 만들면서, 그 다음에 무엇을 만들고 싶은지 알게 될 것”이라고 보는 쪽에 가깝다.
참고할 만한 배경 지식: 강연 밖에서 읽어야 할 맥락
이 강연을 더 깊게 이해하려면 Vannevar Bush의 「As We May Think」를 함께 읽는 것이 좋다. 이 글은 현대 하이퍼텍스트와 개인 지식 관리, 검색, 문서 연결 개념의 중요한 선구로 평가된다. 특히 Memex는 오늘날의 웹, 개인 지식 베이스, 검색 엔진, 심지어 AI 기반 지식 보조 도구와도 연결해 생각할 수 있는 개념이다. Kramer가 이 글을 강연의 출발점으로 삼은 것은, AI 네이티브 소프트웨어도 단순히 모델 API 위에 생기는 제품군이 아니라 인간 지식의 조직 방식 자체를 바꿀 수 있다는 문제의식과 닿아 있다.
Apple의 Knowledge Navigator도 별도로 볼 가치가 있다. 이 영상은 1987년의 기술 수준에서는 대부분 실현 불가능했지만, 오늘날의 태블릿, 화상회의, 음성 비서, 개인 일정 관리, 지식 검색, 에이전트형 작업 위임을 놀라울 정도로 선취했다. 다만 강연에서 Kramer가 강조하듯, 중요한 것은 “정확히 맞혔다”는 감탄이 아니라, 시대마다 사람들이 거의 만들 수 있을 것 같지만 아직 만들 수 없던 인터페이스를 상상했다는 점이다. AI 엔지니어링의 현재도 바로 그 경계에 놓여 있다.
마지막으로, AI 네이티브 소프트웨어를 설계하려는 개발자라면 단일 모델 호출보다 오케스트레이션 구조를 주의 깊게 봐야 한다. 강연에서 언급된 컨텍스트 압축, 장기 실행 subagent, progressive skills loading, 동적 UI 생성은 모두 모델의 지능만으로 해결되지 않는다. 이들은 상태 관리, 이벤트 루프, 권한 제어, 사용자 경험 설계, 지연 시간 최적화, 비용 관리가 함께 필요한 시스템 문제다. 따라서 “AI 앱”을 만드는 일은 점점 프롬프트 작성의 문제가 아니라, 새로운 런타임과 인터랙션 모델을 설계하는 엔지니어링 문제로 이동하고 있다.
마무리 / 핵심 정리
Kramer의 강연은 AI 에이전트를 둘러싼 현재의 열기를 더 긴 역사 속에 배치한다. 1950년대의 프로그래밍 언어, 1960년대의 인터랙티브 컴퓨팅, 1970년대의 데이터 추상화, 1980년대의 개인용 컴퓨터, 1990년대의 웹, 2000년대의 모바일과 공간적 인터페이스, 2010년대의 클라우드는 모두 인간 의도와 계산 기계 사이의 거리를 줄이는 과정이었다. AI 에이전트는 이 흐름의 최신 장면이며, 아직 최종 형태는 아니다.
가장 설득력 있는 메시지는 “에이전트를 만드는 일”과 “AI 네이티브 소프트웨어를 만드는 일”을 구분해야 한다는 점이다. 에이전트는 지금 당장 유용하고 강력하지만, 장기적으로는 더 큰 시스템의 primitive가 될 가능성이 높다. 그 다음 단계는 멀티모달 입력, 실시간 추론, 도구 호출, 동적 UI, 장기 실행 subagent, 컨텍스트 관리가 자연스럽게 결합된 소프트웨어일 것이다. Kramer가 말하는 “next, next thing”은 아직 이름이 정해지지 않았지만, 그 윤곽은 이미 현재의 실험들 속에서 드러나고 있다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | The New Primitives: Building AI Native Software — Kwindla Kramer, Daily |
| 채널 | AI Engineer |
| 리포트 작성 | 2026-08-08 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.