The Prompt Is Still a Punch Card - Ted Johnson, JoinIn AI
📺 원본 영상: The Prompt Is Still a Punch Card - Ted Johnson, JoinIn AI
🎙️ 채널: AI Engineer
📅 정리 일자: 2026-07-05
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료, 차트, 코드, 슬라이드 등은 포함되지 않을 수 있습니다.
개요
Ted Johnson은 이 강연에서 오늘날의 프롬프트 입력 방식이 겉보기에는 최신 AI 경험처럼 보이지만, 상호작용의 구조 자체는 과거 펀치카드 기반 배치 처리(Batch Processing)와 크게 다르지 않다고 주장한다. 핵심 문제는 모델의 지능이 빠르게 발전했음에도 사용자가 여전히 의도를 완성된 덩어리로 포장해 제출하고, 결과를 기다린 뒤, 다시 수정해 제출해야 한다는 점이다.
그는 이 문제를 설명하기 위해 채널(Channel), 표현(Expression), 프로토콜(Protocol)이라는 세 가지 개념을 제시한다. 키보드와 프롬프트 박스는 여전히 오래된 채널이고, 자연어는 표현의 폭을 폭발적으로 넓혔지만, 상호작용의 프로토콜은 아직도 “제출하고 기다리는” 방식에 묶여 있다는 것이다. 강연의 결론은 단순하다. AI는 더 똑똑한 기계일 뿐 아니라, 인간이 기계에 맞추는 방식을 바꿀 수 있는 새로운 인터페이스 기술이어야 한다.
익숙한 키보드를 다시 낯설게 보기
강연자는 먼저 우리가 너무 당연하게 받아들이는 키보드에서 출발한다. 사람들은 매일 작은 입력창에 요청을 적고, 커서가 깜빡이는 동안 AI가 답을 내놓기를 기다린다. 이 과정은 이제 너무 익숙해서 자연스럽게 느껴지지만, Johnson은 바로 그 익숙함이 문제라고 본다. 키보드는 결코 자연스러운 인간 의사소통 수단이 아니며, 우리는 모두 그것을 배우고 연습해야 했다.
그는 Dvorak이나 Colemak 같은 대체 배열, 엄지손가락을 더 적극적으로 쓰려는 극단적인 키보드 설계, 그리고 19세기 특허 도면과 Hansen Writing Ball 같은 사례를 언급하며, 지금의 입력 장치가 역사적 우연과 오래된 제약의 산물임을 상기시킨다. 다시 말해 우리는 100년 넘게 사라진 기계적 제약에서 비롯된 장치를, 지금은 “초지능”에 가까운 시스템과 대화하는 통로로 쓰고 있다. 기술은 비약적으로 바뀌었지만 인간이 기계에 의도를 전달하는 물리적 통로는 크게 달라지지 않았다.
02:49 - 키보드 특허 도면과 오래된 입력 장치의 역사적 제약을 설명하는 구간
이 지점에서 첫 번째 개념인 채널(Channel)이 등장한다. 채널은 인터페이스가 인간에게 제공하는 매체다. 키보드, 마이크, 화면, 펀치카드, 프롬프트 박스는 모두 채널이며, 각각 실어 나를 수 있는 신호의 종류가 다르다. 텍스트는 이산적인 기호의 흐름을 전달하고, 음성은 말의 내용뿐 아니라 억양, 망설임, 속도 같은 신호를 함께 전달하며, 다이어그램은 공간적 관계를 한꺼번에 보여줄 수 있다.
표현의 폭은 폭발했지만, 통로는 그대로다
Johnson의 두 번째 개념은 표현(Expression)이다. 표현은 사용자가 실제로 말하고자 하는 의미, 맥락, 의도, 뉘앙스 중 얼마나 많은 것이 인터페이스를 통해 전달될 수 있는지를 가리킨다. 컴퓨터 역사에서 표현의 폭은 꾸준히 넓어져 왔다. 어셈블리 언어는 제한된 명령어 집합을 제공했고, 셸은 명령과 플래그를 제공했으며, 현대 프로그래밍 언어는 조합 가능한 추상화와 원시 요소를 제공했다.
그러나 이 모든 단계는 여전히 기계가 받아들일 수 있는 고정된 어휘 안에서 의도를 표현해야 하는 방식이었다. 사용자는 기계의 메뉴에 맞춰 자신의 의도를 번역해야 했고, 이 번역 과정 자체가 컴퓨팅의 중요한 부담이었다. 자연어 기반 LLM(Large Language Model)은 이 지점을 크게 바꾸었다. 처음으로 사용자는 다른 사람에게 말하듯 거의 무엇이든 말할 수 있게 되었고, 기계도 그 언어를 어느 정도 받아들일 수 있게 되었다.
강연자가 보기에 이 변화는 실제로 거대하다. 평범한 인간의 요청에는 문맥, 뉘앙스, 암묵적 의도, 배경지식이 함께 들어 있으며, 과거 컴퓨터 인터페이스는 이런 의미의 바다를 거의 받아들이지 못했다. LLM은 이 표현의 폭을 열어젖혔지만, 문제는 그 풍부한 표현이 여전히 작은 입력창과 제출 버튼을 통해 전달된다는 점이다. 표현은 바다처럼 넓어졌는데, 그것을 흘려보내는 인터페이스는 여전히 빨대처럼 좁다는 것이 Johnson의 비유다.
프롬프트는 왜 현대의 펀치카드인가
강연의 핵심은 세 번째 개념인 프로토콜(Protocol)에서 나온다. 프로토콜은 단순히 어떤 채널을 쓰느냐가 아니라, 상호작용이 어떤 규칙과 형태를 따르는지를 의미한다. Johnson은 오늘날의 프롬프트가 바로 이 프로토콜 차원에서 펀치카드와 같다고 말한다. 펀치카드 시대의 사용자는 기계 앞에서 실시간으로 생각을 주고받지 않았다. 먼저 요청 전체를 카드 더미로 인코딩하고, 운영자에게 제출하고, 한참 뒤 결과물을 받아본 뒤, 오류를 발견하면 다시 고쳐 제출했다.
06:41 - 펀치카드 배치 처리 프로토콜과 프롬프트 입력 방식을 비교하는 구간
프롬프트 기반 AI 사용도 구조적으로 크게 다르지 않다. 사용자는 요청을 완성된 문장이나 문서로 조립하고, 제출하고, 기다리고, 결과를 읽고, 무언가 어긋나면 다시 프롬프트를 조립해 제출한다. 응답 시간이 밤새 걸리던 것에서 몇 초 또는 몇 분으로 줄었기 때문에 우리는 이를 상호작용적이라고 착각하지만, Johnson은 이것이 여전히 배치 처리라고 본다. 기계는 사용자가 생각하는 중간에 참여하지 않고, 완성된 턴이 제출된 뒤에야 참여한다.
이 관점에서 프롬프트 엔지니어링(Prompt Engineering)은 새로운 고급 기술이라기보다, 배치 처리에 맞게 요청을 잘 포장하는 규칙 묶음에 가깝다. “단계별로 생각하라”고 쓰기, 예시를 주기, 전문가 역할을 부여하기, 더 많은 맥락을 붙여넣기, Markdown으로만 말하기 같은 기법은 유용할 수 있지만, 모두 같은 전제를 공유한다. 사용자가 먼저 좋은 카드 더미를 만들어야 기계가 제대로 작동한다는 전제다.
Johnson은 여기서 프롬프트 자체가 나쁘다고 말하지 않는다. 펀치카드와 명령줄도 각 시대의 제약 속에서는 훌륭한 해법이었다. 다만 질문은 이제 달라져야 한다. 추론하고, 질문하고, 모호함을 감지하고, 중간에 확인할 수 있는 AI에게도 여전히 인간이 모든 의도를 사전에 포장해 제출해야 하는가. 그의 답은 명확하다. 모델의 능력은 올라가고 있지만 인터페이스 프로토콜은 평평하게 멈춰 있으며, 그 불일치가 사용 경험의 피로를 만든다.
문제는 사용자가 아니라 인터페이스다
Johnson이 특히 강조하는 대목은 사용자가 AI를 잘 못 쓰는 것이 아니라는 점이다. 많은 사람은 결과가 어긋나거나 원하는 답이 나오지 않으면 자신이 충분히 구체적이지 않았다고 생각한다. 자신이 AI를 이해하지 못한다고 느끼고, 더 나은 “마법의 문장”을 배워야 한다고 믿는다. 그러나 강연자의 해석은 반대다. 사용자가 부족한 것이 아니라, 새로운 종류의 지능을 낡은 펀치카드식 프로토콜로 조작하도록 요구받고 있는 것이다.
이 문제는 AI가 더 강력해질수록 오히려 더 선명해진다. 모델은 추론, 음성, 비전, 기억, 계획 능력에서 빠르게 발전하고 있지만, 사용자는 여전히 어떤 맥락이 중요한지 판단하고, 언제 말해야 할지 정하고, 모호함을 알아차리고, 잘못된 결과를 고치고, 적절한 프롬프트를 설계해야 한다. 지능은 마법처럼 느껴지지만 인터페이스는 여전히 노동처럼 느껴지는 이유가 여기에 있다.
강연자는 이 불일치를 “AI를 가능하게 만드는 과정에서 인터페이스를 지름길로 처리한 결과”로 본다. 먼저 모델 능력을 대중에게 열어주는 데 집중하다 보니, 인간과 기계가 실제로 어떻게 함께 생각하고 대화해야 하는지에 대한 설계가 뒤따르지 못했다는 뜻이다. 따라서 다음 단계의 AI 제품 설계는 모델을 더 똑똑하게 만드는 문제만이 아니라, 사용자가 감당해 온 인터페이스 부담 중 무엇을 기계가 가져갈 수 있는지 묻는 일에서 시작해야 한다.
음성 인터페이스도 배치일 수 있다
강연자는 음성 모드 사례를 통해, 채널이 바뀌어도 프로토콜이 그대로라면 문제가 해결되지 않는다고 설명한다. 그의 공동창업자는 한 프런티어 AI 기업의 음성 모드에 “다음 Timberwolves 경기가 언제인가”라고 물었고, AI는 그 질문에 빠르게 답했다. 그런데 이후 사람이 방에 들어온 상황을 흉내 내며 “Ted, 들어와”라고 말하자, AI는 그 말을 자신에게 주어진 다음 턴으로 받아들이고 “물론, 여기 있어요. 무엇을 도와드릴까요?”라는 식으로 응답했다.
11:43 - 음성 모드가 사람 간 발화를 AI 대상 발화로 오인하는 사례를 설명하는 구간
이 사례에서 모델이 멍청했던 것은 아니다. 첫 질문에는 제대로 답했고, 음성 인식도 동작했다. 문제는 프로토콜에 있었다. 시스템에는 “사용자의 발화”와 “AI의 응답”이라는 하나의 슬롯만 있었고, 누가 누구에게 말하는지, 그 말이 AI를 향한 것인지, 방 안의 다른 사람을 향한 것인지 구분할 개념이 없었다. 음성을 입력으로 받더라도 그것이 단지 텍스트로 변환되어 프롬프트 박스에 들어가는 구조라면, 짧아진 배치 처리일 뿐 진짜 대화는 아니다.
Johnson은 OpenAI를 비롯한 프런티어 기업들이 실시간 음성 모델과 백채널(Backchannel) 기능을 도입하고 있다는 점도 언급한다. “음”, “맞아요” 같은 짧은 반응은 사람이 듣고 있음을 보여주는 중요한 대화 신호다. 다만 강연자는 이런 신호가 시작일 뿐이라고 본다. 듣는 소리를 내는 것과, 방 안에 누가 있고 어떤 말이 누구를 향했는지 이해하는 것은 전혀 다른 문제이기 때문이다.
PersonaPlex와 실시간 대화의 가능성
강연 중간에는 NVIDIA의 연구 모델로 소개된 PersonaPlex 사례가 등장한다. 강연자는 이 모델이 사용자의 발화 중간에 끼어드는 상황을 처리하고, 말할 때와 멈출 때를 조절하며, 이전 대화 흐름으로 돌아가는 방식을 보여준다. 사용자가 다이어트에 대해 말하던 중 갑자기 마라톤 등록 이야기를 꺼내면, 모델은 기존 답변을 계속 밀어붙이지 않고 멈춘 뒤 새 주제로 전환한다. 이는 기존 프롬프트 박스가 보여주는 “한 번 입력, 한 번 출력” 구조와 다른 대화적 특성이다.
13:11 - NVIDIA PersonaPlex가 끼어들기와 발화 양보를 처리하는 데모를 설명하는 구간
이 예시는 실시간 대화에서 중요한 것이 단순히 더 빠른 응답이 아니라는 점을 보여준다. 사람 간 대화에서는 끼어들기, 양보하기, 잠시 반응하기, 다시 흐름을 잇기 같은 미세한 행동이 자연스럽게 일어난다. 이런 행동은 문장의 정확성만으로 설명되지 않으며, 타이밍과 사회적 맥락을 포함한다. Johnson이 말하는 참여형 인터페이스는 바로 이런 층위의 상호작용을 AI가 다룰 수 있어야 한다는 요구에 가깝다.
다만 그는 PersonaPlex 같은 연구가 모든 문제를 해결한다고 말하지 않는다. 백채널과 끼어들기 처리가 가능해지는 것은 중요하지만, 여전히 “누가 말하고 있는가”, “그 말은 누구를 향한 것인가”, “지금 AI가 말을 해도 되는가” 같은 문제는 남아 있다. 이 문제는 특히 1대1 채팅보다 회의, 협업, 그룹 대화에서 훨씬 더 중요해진다.
그룹 대화 속으로 들어온 AI
JoinIn AI가 지향하는 방향은 AI가 단순히 사용자의 프롬프트에 반응하는 것이 아니라, 인간들의 대화 속에 참여하면서 적절한 순간에 행동하는 인터페이스다. 강연자는 요구사항 회의 상황을 예로 들며, 여러 사람이 비용 승인 기능에 대해 논의하는 장면을 설명한다. 참가자들은 “REQ 142, expense approvals” 같은 요구사항 ID를 확인하고, 첫 릴리스의 범위를 비용 승인으로 제한할지, 향후 접근 요청까지 포함할지 논의한다.
15:33 - 그룹 회의에서 AI가 발화자와 요구사항 논의를 추적하는 데모 구간
여기서 중요한 것은 AI가 아무 때나 끼어들지 않는다는 점이다. 강연자에 따르면 시스템은 참가자의 발화를 질문, 제안, 답변 등으로 분류하고, 누군가가 말하고 있거나 발언권을 유지하고 있을 때는 행동하지 않는다. 대신 대화의 흐름을 따라가다가 범위나 정책 같은 중요한 결정이 정리되는 순간을 포착한다. 예컨대 “비용 승인은 첫 릴리스에 포함하고, 접근 요청은 미래 범위로 둔다”거나 “5,000달러 초과 시 두 번째 승인자가 필요하다”는 식의 결론이 나오면, AI는 이를 요구사항으로 정리할 수 있다.
이 장면에서 Johnson이 보여주고 싶은 것은 프롬프트가 사라진 인터페이스다. 아무도 긴 요청문을 작성하지 않았고, 아무도 완성된 턴을 포장해 제출하지 않았다. 시스템은 대화 안에 머물며, 맥락을 추적하고, 목표를 식별하고, 행동해야 할 순간을 선택했다. 이것이 그가 말하는 “스마트한 기계 뒤의 낡은 프롬프트”와 “마침내 참여하는 인터페이스”의 차이다.
16:17 - AI가 회의 중 범위와 승인 기준을 정리하며 프롬프트 없이 대화에 참여하는 구간
AI는 지능 기술이자 인터페이스 기술이다
강연의 후반부에서 Johnson은 AI를 단지 더 똑똑한 기계로만 보지 말아야 한다고 말한다. AI는 점점 더 인터페이스 기술이 되고 있으며, 그렇다면 “책으로 배운 듯 똑똑한 모델”만으로는 충분하지 않다. 사용자가 프롬프트, 에이전트, 루프, 오래된 디지털 구성물 뒤에 숨어 있는 기계를 조작하는 그림에서 벗어나야 한다. 핵심은 지능 자체가 인터페이스 제약을 제거하고 인간의 잠재력을 증폭할 수 있다는 관점이다.
지난 수십 년간 컴퓨팅의 역사는 인간이 기계에 맞춰 자신을 번역해 온 역사였다. 펀치카드를 만들고, 명령어를 입력하고, 메뉴를 클릭하고, 스마트폰 화면을 엄지로 조작하고, 이제는 프롬프트를 작성한다. 각 단계는 분명 진보였지만, 동시에 인간이 의도를 기계가 이해할 수 있는 형태로 다시 인코딩해야 한다는 오래된 제약을 다음 시대로 옮겨왔다.
Johnson은 이를 번역세, 정밀성세, 맥락세, 수리세라고 부를 수 있는 부담으로 묘사한다. 사용자는 의도를 번역해야 하고, 너무 넓지도 좁지도 않게 정확히 말해야 하며, 필요한 맥락을 스스로 골라 넣어야 하고, 결과가 틀리면 다시 고쳐야 한다. AI가 정말로 인간의 의미를 더 많이 이해할 수 있다면, 이제는 인간이 계속 기계에 맞춰 자신을 재구성할 필요가 줄어들어야 한다. 이 변화가 AI 인터페이스 설계의 핵심 과제다.
인간 중심 AI 디자인을 위한 질문
강연자가 남기는 가장 실용적인 질문은 “기계가 예전에는 너무 제한적이었기 때문에 여전히 인간에게 떠넘기고 있는 부담은 무엇인가”이다. 이 질문을 던지면 인터페이스 설계의 가능성이 넓어진다. 정답은 항상 채팅도 아니고, 항상 음성도 아니며, Markdown 문서의 벽도 아니다. 사람들은 서로 의사소통할 때 질문, 침묵, 멈춤, 스케치, 체크리스트, 작은 옆말, 때로는 아무 말도 하지 않는 방식까지 다양한 어포던스(Affordance)를 사용한다.
18:17 - AI 인터페이스 설계의 핵심 질문과 인간 부담을 줄이는 방향을 제시하는 구간
따라서 좋은 AI 인터페이스는 특정 입력 방식 하나를 강요하는 것이 아니라, 순간에 맞는 채널과 타이밍을 선택할 수 있어야 한다. 어떤 상황에서는 AI가 질문해야 하고, 어떤 상황에서는 조용히 듣기만 해야 하며, 어떤 상황에서는 체크리스트를 만들거나 화면에 구조화된 정보를 띄워야 한다. 인간이 매번 “어떤 형식으로 말해야 할지” 결정하는 것이 아니라, AI가 대화와 작업의 맥락에 맞춰 적절한 상호작용 방식을 제안하거나 수행하는 방향이 필요하다.
Johnson은 이 부담이 줄어들 때 마찰이 사라지고 채택이 따라온다고 본다. 사용성이란 단지 예쁜 UI나 빠른 응답 시간이 아니라, 사용자가 감당하던 불필요한 인지적, 절차적 비용을 줄이는 문제이기 때문이다. AI가 인간의 판단을 대체하는 것이 아니라, 컴퓨터가 처음으로 인간에게 더 유창해지는 방향으로 진화해야 한다는 것이 그의 결론이다.
마무리 / 핵심 정리
이 강연의 핵심은 프롬프트가 낡았다는 단순한 비판이 아니다. Johnson은 자연어 프롬프트가 표현의 차원에서는 거대한 도약이지만, 상호작용의 프로토콜 차원에서는 여전히 배치 처리에 머물러 있다고 본다. 사용자는 여전히 생각을 완성된 입력으로 포장하고, 제출하고, 기다리고, 결과를 수리한다. 이 구조에서는 모델이 아무리 똑똑해져도 인간은 여전히 인터페이스의 많은 부담을 떠안는다.
그가 제안하는 다음 단계는 AI가 대화와 작업의 한가운데 참여하는 인터페이스다. AI는 누가 말하는지, 누구에게 말하는지, 언제 끼어들어야 하는지, 언제 침묵해야 하는지, 어떤 채널이 적절한지 판단할 수 있어야 한다. 이것은 단순한 음성 입력이나 빠른 응답의 문제가 아니라, 인간이 기계에 맞춰 자신을 번역해야 했던 오랜 습관을 줄이는 문제다.
결국 “프롬프트는 여전히 펀치카드”라는 제목은 현재 AI 경험의 가장 큰 역설을 찌른다. 우리는 과거 어느 때보다 풍부한 지능을 손에 넣었지만, 그 지능과 상호작용하는 방식은 아직 오래된 제출-대기-수정의 리듬에 묶여 있다. AI가 정말로 인간의 의미를 더 많이 이해할 수 있다면, 이제 인터페이스는 인간을 더 많이 이해하는 방향으로 바뀌어야 한다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | The Prompt Is Still a Punch Card - Ted Johnson, JoinIn AI |
| 채널 | AI Engineer |
| 리포트 작성 | 2026-07-05 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.