Chat Agent에 목소리를 입히다 — ElevenLabs Voice Engine 소개
📺 원본 영상: Give Your Chat Agent a Voice — Luke Harries, ElevenLabs 🎙️ 채널: AI Engineer 📅 정리 일자: 2026-05-10 ⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
이 강연은 ElevenLabs의 Luke Harries가 AI Engineer 컨퍼런스에서 발표한 내용으로, 2025년을 지배한 챗 에이전트(Chat Agent) 패러다임을 음성 에이전트(Voice Agent)로 진화시키는 방법을 다룬다. 핵심 주제는 기존에 이미 구축된 챗 에이전트를 처음부터 재개발하지 않고도 음성 인터페이스를 추가할 수 있는 새로운 제품인 ‘Voice Engine’의 개발자 미리보기(Early Preview)다. ElevenLabs가 TTS 모델 개발에서 출발해 완성형 Voice Agent 인프라로 나아가게 된 배경과, 그 과정에서 발견한 시장의 실제 수요를 구체적인 솔루션과 함께 제시하는 것이 이 강연의 흐름이다.
2025년, 챗 에이전트가 앱의 얼굴이 되다
강연자는 2025년을 ‘챗 에이전트의 해’로 규정하며 강연을 시작한다. 이 시기를 기점으로 수많은 회사들이 두 갈래 길 앞에 섰다는 것이다. 기존의 SaaS 방식으로 머물다 도태되거나, 아니면 챗 에이전트를 추가하며 AI 퍼스트(AI-first)로 전환하거나. 그 상징적인 사례로 강연자는 Linear, PostHog 등 여러 테크 스타트업들이 앱의 홈 화면을 채팅 인터페이스로 교체했다는 내용이 담긴 트위터 게시물이 크게 확산된 사건을 언급한다. 심지어 영국 정부 공식 사이트(GOV.UK)도 같은 방향으로 챗 에이전트를 도입하는 흐름을 보였다.
강연자는 이 흐름이 기술적으로도 자연스럽다고 분석한다. Tool Calling과 RAG(Retrieval-Augmented Generation)를 선언적(Declarative)으로 활용할 수 있고, 빠른 시작(Quick Start)이 가능하다는 점에서 챗 에이전트는 AI와 상호작용하는 기본 방식으로 빠르게 자리잡았다. 그러나 그는 여기서 한 가지 문제의식을 던진다. 챗은 분명히 유용하지만, 그것이 과연 ‘미래를 만들고 있다’는 느낌을 주는가 하는 것이다.
왜 음성인가? — 차세대 인터페이스로서의 조건
강연자가 음성을 챗의 자연스러운 다음 단계로 제시하는 근거는 세 가지 축으로 구성된다.
첫 번째는 속도와 상호작용성이다. 음성은 텍스트 입력에 비해 훨씬 빠르고 직관적인 매체다. 키보드를 통한 입력 대역폭과 말하기의 대역폭은 비교 자체가 무의미할 만큼 차이가 크다. 이는 사용자 경험의 질적 전환을 의미한다.
두 번째는 **접근성(Accessibility)**이다. 키보드 사용에 어려움을 겪거나 난독증(Dyslexia)이 있는 사용자에게는 음성이 훨씬 자연스러운 인터페이스다. 강연자는 이를 단순한 편의성 향상이 아니라, 기술의 포용성(Inclusivity) 측면에서 중요한 가치로 위치시킨다.
세 번째는 옴니채널(Omni-channel) 확장 가능성이다. 챗 에이전트에 음성을 추가하는 순간, 그 에이전트는 웹 채팅봇을 훨씬 뛰어넘는 존재가 된다. 강연자가 제시하는 시나리오는 구체적이다. PostHog 스타일의 에이전트가 Zoom 미팅에 직접 참여해 잘못된 통계 수치를 실시간으로 교정해주는 것, 또는 고객 지원 에이전트가 전화 상담 라인을 운영하는 것. 이 두 가지는 모두 음성 인터페이스 없이는 불가능한 상호작용 패러다임이다.
ElevenLabs의 여정: TTS 모델에서 Voice Infrastructure로
ElevenLabs는 처음에 세계 최고 수준의 TTS(Text-to-Speech) 모델을 만들겠다는 명확한 목표로 출발했다. 그러나 실제 기업 고객들과 함께 시스템을 구축하는 과정에서, 단순한 TTS 모델 제공만으로는 해결되지 않는 훨씬 복잡한 문제들이 존재한다는 것을 발견하게 되었다. Revolut의 고객 지원 시스템을 비롯한 여러 고객사를 지원하며 ElevenLabs가 파악한 실제 Voice Agent 아키텍처는 두 개의 레이어로 구성된다.
하나는 음성 엔진(Voice Engine) 레이어로, TTS, 발화 전환(Turn-Taking), STT(Speech-to-Text)를 담당한다. 다른 하나는 에이전트 오케스트레이션(Agent Orchestration) 레이어로, LLM, RAG, 툴 호출(Tool Calling), 각종 외부 서비스 연동이 이루어지는 영역이다.
이 아키텍처에 대한 수요는 컨퍼런스 참석자들 사이에도 이미 광범위하게 퍼져 있었다. 강연자는 “이 방에 있는 많은 분들이 이미 같은 시스템을 구축했거나, 같은 슬라이드를 발표한 적이 있을 것”이라고 직접적으로 언급한다. 문제는 그 과정에서 오케스트레이션 레이어, 즉 에이전트 로직 부분을 이미 상당한 시간과 비용을 들여 직접 구축해 놓은 고객들이 많다는 것이었다. 평가(Evals), 트랜스크립션 파이프라인, 각종 툴 연동까지 직접 개발한 팀에게 “전부 버리고 새로 시작하라”는 것은 현실적인 제안이 아니었다.
Voice Engine: 기존 챗 에이전트를 위한 첫 번째 클래스 프리미티브
바로 이 현실적인 요구에 대한 응답으로 ElevenLabs가 내놓은 것이 Voice Engine이다. 강연자는 이를 “첫 번째 클래스 프리미티브(First-class Primitive)“라는 표현으로 소개한다. 별도의 독립된 레이어로서, 기존 어떤 챗 에이전트에도 ‘씌울(Wrap)’ 수 있도록 설계된 음성 인터페이스 번들이다.
Voice Engine의 기술 구성은 다음과 같다.
- STT: ElevenLabs 자체 모델인 Scribe를 사용한다. 강연자는 이를 “가장 정확한 모델”이라고 소개한다.
- TTS: V3 등 최신 세대의 TTS 모델을 포함한다.
- 고급 발화 전환(Turn-Taking): 단순한 음성 활성 감지(VAD, Voice Activity Detection)를 넘어, 감정과 문맥을 인식하는 방식으로 설계되었다. 사용자가 실제로 말을 마쳤는지를 의미론적으로 판단(Semantic Endpointing)하며, 단순 정적(Pause)과 발화 종료를 구분해낸다.
- 다양한 음성 및 다국어 지원: 수천 가지 음성 옵션과 다양한 언어를 지원한다.
강연자가 이 구성 요소 목록보다 더 강조하는 것은 개발자 경험(Developer Experience)이다. “기존 챗 에이전트에 음성을 추가하는 것이 놀라울 정도로 간단하다”는 것이 Voice Engine의 가장 중요한 가치 명제이기 때문이다.
개발자 경험: 래핑으로 해결하는 Voice 통합
Server SDK의 통합 흐름은 세 단계로 요약된다. 먼저 클라이언트를 생성하고, Voice Engine 인스턴스를 생성한 뒤, 기존 챗 에이전트에 래퍼(Wrapper)를 부착한다. 이후부터는 새로운 세션이 시작될 때마다 루프가 시작되어 모든 음성 요청이 기존 챗 에이전트로 프록시(Proxy)되는 방식으로 작동한다. 기존 에이전트의 내부 로직은 전혀 수정할 필요가 없으며, 음성 처리의 모든 복잡성은 Voice Engine이 전담한다.
03:43 - Voice Engine Server SDK 코드 화면 - 클라이언트 생성, Voice Engine 인스턴스 생성, 기존 챗 에이전트에 래퍼 부착하는 코드 구조
Client SDK는 Server SDK보다도 간결하다. 강연자에 따르면 단 3줄의 코드로 웹사이트에 음성 위젯을 추가할 수 있다. 더욱 중요한 것은 이 Client SDK를 추가하고 나면, 전화 연결(Telephony) 기능 등 다른 채널 확장도 대부분 추가 개발 없이 바로 활성화할 수 있다는 점이다. 하나의 래핑 작업이 다양한 채널로의 문을 동시에 여는 구조다.
04:13 - Client SDK 코드 화면 - 3줄로 웹사이트에 음성 위젯을 추가하는 코드
UI 측면에서도 ElevenLabs는 shadcn과 Vercel 디자인 시스템을 기반으로 한 정교한 컴포넌트들을 기본 제공한다. 강연자는 이 컴포넌트들을 “코딩 에이전트(Coding Agent)에게 지시해서 바로 적용할 수 있다”고 표현하며, 개발자가 직접 UI를 처음부터 설계하지 않아도 즉시 사용 가능한 수준임을 강조한다.
04:36 - shadcn/Vercel 스타일 기반의 UI 컴포넌트 라이브러리 예시 화면
데모: 한 번의 프롬프트로 Voice Agent 전환
강연자는 실제 데모를 통해 Voice Engine의 사용 흐름을 직접 보여준다. 출발점은 로컬에서 실행 중인 일반적인 채팅 기반 고객 지원 에이전트다. 이 에이전트에 “hello, how are you?”라고 입력하면 정상적으로 응답하는 것을 확인한 뒤, Voice Engine 래핑을 적용하는 과정을 시연한다.
05:33 - Voice Engine 래퍼가 적용된 실제 코드 화면 - voice engine 인스턴스, 세션별 루프, 기존 에이전트로의 프록시 로직
특히 강연자가 주목시키는 것은 출시 시 함께 제공될 예정인 **자동화 스킬(Skill)**이다. 이 스킬은 코드베이스를 자동으로 분석하고, 기존 챗 에이전트의 구조를 파악한 뒤, 어떻게 Voice Engine으로 래핑할지를 자동으로 결정하는 방식으로 작동한다. 개발자 입장에서는 단 하나의 프롬프트만으로 기존 챗 에이전트가 Voice Agent로 전환되는 경험을 하게 된다. 강연자는 이것이 “정말 간단하고 빠른 과정이 될 것”이라고 기대를 표했다.
툴 호출 아키텍처와 Voice Engine의 설계 철학
강연 후 Q&A 세션에서 강연자는 툴 호출(Tool Calling) 처리 방식에 관해 Voice Engine의 설계 철학을 더 명확히 설명한다. 이 부분은 Voice Engine이 왜 ‘래핑’ 방식을 택했는지를 이해하는 열쇠다.
일반적으로 챗 에이전트는 대부분의 툴 호출을 이미 백엔드에서 완결된 형태로 처리하고 있다. Voice Engine의 래퍼 구조는 바로 이 점을 적극적으로 활용한다. 개발자는 툴 호출 로직을 다시 작성하거나, 음성 레이어와 에이전트 레이어 사이에서 이중으로 관리할 필요가 없다. 기존 챗 에이전트가 처리하던 모든 백엔드 툴 호출은 Voice Engine 도입 후에도 그대로 작동한다.
더 나아가, ElevenLabs는 **클라이언트 사이드 툴(Client-side Tools)**과 **서버 사이드 툴(Server-side Tools)**의 개념을 도입하고 있다. 클라이언트 사이드 툴을 통해 프론트엔드에서 DOM 조작과 같은 작업을 직접 처리하는 도구를 노출할 수 있게 되며, 향후에는 래핑된 에이전트로 일부 툴 호출을 프록시(Proxy)하는 기능도 추가될 예정이라고 강연자는 밝혔다. 다만 그는 “대부분의 개발자는 기존 챗 에이전트에서 이미 모든 툴 호출을 처리하고 있기 때문에, 이 기능이 당장 큰 문제가 되지는 않을 것”이라고 덧붙였다.
마무리 및 핵심 정리
강연 말미에 강연자는 도발적인 예측을 내놓는다. 챗 에이전트의 미래는 두 가지뿐이라는 것이다. 사라지거나, 음성을 추가하거나. 이 전환을 위한 인프라로 ElevenLabs는 두 가지 경로를 제시한다. 이미 챗 에이전트를 구축한 개발자라면 Voice Engine의 래퍼 방식으로 빠르게 음성을 추가할 수 있고, 처음부터 완성형 대화 AI 플랫폼을 원한다면 ElevenLabs의 풀 에이전트 플랫폼(Full Agents Platform)을 활용할 수 있다.
강연자가 이 제품의 등장을 단순한 신기능 출시 이상으로 위치시키는 이유가 있다. 그는 순수한 TTS/STT 단위 API를 넘어, 음성 인터랙션의 여러 복잡성(발화 전환, 감정 인식, 다국어 지원 등)을 하나의 번들로 추상화하는 더 높은 수준의 인터페이스로의 이행이 개발 커뮤니티 전반에서 가속화되어야 한다고 본다. Voice Engine은 그 방향으로 나아가는 하나의 구체적인 시도다. ElevenLabs는 현재 이 새로운 Voice Engine을 먼저 경험해볼 디자인 파트너(Design Partner)를 모집 중이라고 강연자는 밝혔다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | Give Your Chat Agent a Voice — Luke Harries, ElevenLabs |
| 채널 | AI Engineer |
| 발표자 | Luke Harries (ElevenLabs) |
| 리포트 작성 | 2026-05-10 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.