TTS 모델은 왜 LLM을 닮아가는가 — Mistral AI Samuel Humeau
📺 원본 영상: Why TTS Models Now Look Like LLMs — Samuel Humeau, Mistral 🎙️ 채널: AI Engineer 📅 정리 일자: 2026-05-10 ⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
Mistral AI의 AI 과학자 Samuel Humeau는 이 강연에서 최근 Text-to-Speech(TTS, 텍스트 음성 변환) 아키텍처의 지배적인 트렌드를 분석하고, Mistral이 새롭게 공개한 오픈소스 TTS 모델의 설계 원리를 소개한다. 강연의 핵심 질문은 “왜 현대 TTS 모델들이 LLM(Large Language Model, 대형 언어 모델)과 점점 같은 구조를 닮아가는가”이며, 오디오 코덱 기반 토크나이제이션(tokenization)부터 실시간 스트리밍 생성까지 전체 파이프라인을 기술적으로 심층 설명한다.
TTS의 킬러 유즈케이스: AI 에이전트와의 음성 인터페이스
강연자는 블로그나 기사를 읽어주는 전통적인 TTS 활용 사례들이 존재하지만, 오늘날 TTS의 가장 중요한 유즈케이스는 AI 에이전트와의 음성 인터페이스라고 단언한다. 전형적인 파이프라인은 세 모듈이 직렬로 연결된 구조를 갖는다. 사용자가 말을 하면 STT(Speech-to-Text) 모델이 음성을 텍스트로 변환하고, 중앙의 LLM이 텍스트를 처리하여 응답을 생성하며, 마지막으로 TTS 모델이 텍스트를 다시 음성으로 변환한다. 이 파이프라인에서 지연(latency)은 사용자 경험의 핵심 변수이기 때문에, 각 모듈은 최대한 빠르게 첫 출력을 내보내도록 설계되어야 한다.
STT 측에서는 발화가 끝나는 시점에 이미 전사(transcription)가 완료되는 실시간 처리 방식으로 지연을 줄인다. TTS 측에서는 보다 근본적인 전략이 필요한데, 강연자는 전체 오디오 생성이 완료되기를 기다리지 않고 첫 번째 오디오 패킷이 준비되는 즉시 재생을 시작하는 것이 핵심이라고 설명한다. 더 나아가 LLM이 텍스트 토큰을 스트리밍 방식으로 출력한다는 특성을 활용하면, LLM의 첫 토큰이 생성되는 순간부터 TTS가 음성 합성을 시작하는 이상적인 실시간 파이프라인도 가능하다. 강연자는 이 방향이 오늘 강연 후반부에서 다룰 주제임을 예고했다.
보이스 클로닝 데모: 몇 초의 샘플만으로 목소리를 복제하다
강연자는 Mistral이 공개한 TTS 모델을 직접 시연하며 그 성능을 보여주었다. 이 모델의 가장 인상적인 기능 중 하나는 **보이스 클로닝(Voice Cloning)**으로, 실제 인물의 음성 샘플 몇 초만 제공하면 해당 인물의 목소리를 복제해 임의의 텍스트를 읽게 할 수 있다. 강연 중 “Paul”이라는 실제 인물의 목소리를 복제한 샘플이 재생되었고, 강연자는 에이전트 파이프라인을 구성해 Paul의 목소리로 실시간 음성 대화 데모를 진행했다. 첫 오디오 패킷이 빠르게 출력되어 대화의 체감 지연이 낮다는 점도 시연 과정에서 확인할 수 있었다.
다국어 시나리오에서도 보이스 클로닝은 흥미로운 특성을 보인다. 강연자는 프랑스어 원어민 화자의 목소리를 사용해 영어 텍스트를 합성했을 때, 원본 화자의 강한 프랑스어 억양이 그대로 재현되는 것을 시연했다. 강연자 본인의 목소리를 클로닝한 사례도 소개되었는데, 이를 통해 동일 인물이 두 가지 버전의 자신의 목소리와 대화하는 가상의 시나리오가 가능하다고 농담 섞어 언급했다.
이 기술적 발전은 기업 브랜딩에도 새로운 화두를 던진다. 강연자에 따르면, 이미 많은 대형 기업들이 **보컬 아이덴티티(Vocal Identity)**를 브랜드 전략의 일부로 관리하고 있으며, 특히 광고에서 자사의 음성 이미지를 중요하게 여긴다. 웹사이트의 시각적 디자인이 브랜드 정체성을 표현하듯이, 앞으로는 기업의 음성 아이덴티티도 동일한 전략적 중요성을 갖게 될 것이라는 전망이다.
오디오 표현의 진화: 파형에서 토큰 시퀀스로
TTS 시스템의 내부를 이해하려면 먼저 오디오가 컴퓨터에서 어떻게 표현되는지 알아야 한다. 물리적으로 오디오는 마이크로폰이 측정하는 공기 압력의 변화를 시간에 따라 샘플링한 값들의 집합이며, 초당 수천 번의 측정으로 구성된다. 역사적으로 TTS 시스템은 다양한 방식을 거쳐왔다. 초기에는 미리 녹음된 단어들을 이어 붙이는 연접 합성(concatenative synthesis) 방식이 쓰였고, 이후 신경망 기반으로 샘플을 하나씩 순차 생성하는 방식, 전체 오디오를 한꺼번에 생성하는 방식 등이 등장했다.
08:01 - 오디오의 물리적 표현(압력 파형)과 TTS 역사적 접근법
그러나 스트리밍이라는 요구사항 앞에서, 현재 대부분의 연구 기관들은 하나의 공통 패턴으로 수렴하고 있다. 오디오를 패치(patch) 단위로 순차 생성하는 방식이다. 이 접근법은 LLM이 토큰 시퀀스를 순차 생성하는 방식에서 직접적인 영감을 받았다. 강연자는 그 이유를 명확하게 표현한다. “인류는 토큰 시퀀스를 모델링하는 데 극도로 뛰어난 기술을 보유하고 있다.” TTS 문제를 언어 모델링 문제로 변환할 수 있다면, 그간 LLM 생태계에서 축적한 모든 기술적 성과를 그대로 활용할 수 있다는 논리다.
09:30 - 오디오를 패치 단위로 순차 생성하는 시스템 구조 다이어그램 — 인코더와 디코더의 역할
오디오 토크나이제이션의 핵심 원리
텍스트는 단어나 서브워드(subword) 단위로 분할하면 비교적 손쉽게 토큰으로 변환할 수 있다. 오디오는 전혀 다른 문제다. 강연자는 이 난이도 차이를 정보량의 관점에서 명쾌하게 정량화한다. 어휘 크기 1,000짜리 토크나이저에서 토큰 하나가 담을 수 있는 정보량은 약 10비트(log₂1000 ≈ 10)에 불과하다. 반면 표준 품질의 MP3 오디오는 초당 약 **200킬로비트(200kbps)**의 데이터를 필요로 한다. 텍스트 자막처럼 음성의 텍스트 내용만 보존할 경우 정보량은 극적으로 줄어드는데, 강연자는 자신이 말하는 속도를 실시간으로 측정한 결과 초당 약 15비트 수준임을 밝혔다. 200,000비트 대비 극히 작은 수치이며, 이는 음성 신호에는 텍스트 이외에도 목소리 톤, 억양, 음색 등 방대한 음향적 정보가 담겨 있음을 의미한다.
따라서 오디오를 LLM이 처리할 수 있는 토큰 시퀀스로 변환하려면, 음향적 특성을 보존하면서 동시에 정보량을 대폭 압축하는 **오디오 코덱(Audio Codec)**이 필수적이다. 대부분의 코덱은 오디오를 초당 수천 비트 수준으로 압축한다. Mistral의 TTS 모델은 구체적으로 다음과 같은 사양을 채택한다. 오디오를 80밀리초 단위의 프레임으로 분할하며, 이는 초당 12개의 프레임에 해당한다. 각 프레임은 37개의 토큰으로 변환되므로, 전체적으로 초당 약 500개의 토큰이 생성된다.
11:49 - 80ms 프레임, 37토큰/프레임, 초당 약 500토큰의 코덱 스펙
이 코덱 자체도 학습이 필요하다. 대규모 오디오 데이터셋을 대상으로 재구성(reconstruction)을 목표로 학습하며, 재구성 손실(reconstruction loss)과 적대적 손실(adversarial loss)을 조합해 사용한다. 특히 37개 토큰 중 일부에는 텍스트 정보가 담기도록 별도의 손실 함수로 유도하여, 해당 토큰으로부터 텍스트를 역으로 복원할 수 있도록 설계한다. 이렇게 하면 코덱이 음향적 특성과 의미론적 정보를 모두 효율적으로 인코딩하게 된다.
LLM을 닮은 TTS 백본: 오토리그레시브 Transformer
오디오를 토큰 시퀀스로 변환한 후에는 이 시퀀스를 생성하는 핵심 모델이 필요하다. 여기서 현대 TTS 아키텍처의 가장 중요한 트렌드가 드러난다. 대부분의 연구 기관들은 오토리그레시브(Autoregressive) 디코더 백본, 즉 LLM과 구조적으로 동일한 Transformer를 TTS의 핵심 모델로 채택하고 있다. Mistral의 TTS 모델에서 이 백본의 규모는 40억(4B) 파라미터이다. 현재 LLM 기준으로 매우 크지는 않지만, 여전히 상당한 계산 비용을 요구하는 규모다.
13:39 - 4B 파라미터 오토리그레시브 백본 아키텍처 다이어그램
초당 500개의 토큰을 이 대형 백본에 하나씩 순차 입력하면 계산량이 지나치게 커진다는 문제가 있다. 이를 해결하기 위해 대부분의 연구 기관이 채택하는 방식은 역할 분리다. 대형 백본은 프레임(80ms) 단위로 한 스텝씩 처리하고, 각 프레임 내 37개 토큰을 모두 생성하는 세부 작업은 별도의 소형 Depth Transformer가 담당한다. 이렇게 하면 대형 백본의 실행 횟수를 초당 12번(프레임 수)으로 유지하면서도, 각 프레임의 풍부한 정보를 소형 모델로 보완적으로 처리할 수 있어 계산 효율이 크게 향상된다.
14:06 - 백본과 소형 Depth Transformer의 역할 분리 구조 및 계산 효율화
Mistral TTS의 차별화: 플로우 매칭 기반 프레임 생성
흥미롭게도 Mistral이 공개한 TTS 모델은 위에서 설명한 Depth Transformer 방식을 따르지 않는다. 대신 각 프레임의 37개 토큰을 플로우 매칭(Flow Matching) 모델을 사용해 한 번에 생성한다. 플로우 매칭은 디퓨전 모델(Diffusion Model)과 유사한 계열의 생성 모델로, 노이즈로부터 점진적으로 데이터를 생성하는 방식이다. 강연자는 이 부분이 현재 주류 접근법과 구별되는 Mistral만의 독자적인 선택이라고 밝혔으며, 기술적 상세 내용은 함께 공개된 **기술 리포트(technical report)**에서 확인할 수 있다고 안내했다.
요약하면, Mistral TTS의 전체 구조는 다음과 같다. 4B 파라미터의 오토리그레시브 Transformer 백본이 프레임 단위로 순차적으로 처리하고, 각 프레임에서 37개의 토큰을 생성하는 역할은 Depth Transformer 대신 플로우 매칭 디퓨전 모델이 담당한다. 이 조합이 Mistral이 공개 TTS 모델에서 채택한 핵심 아키텍처 선택이다.
컨디셔닝: “음성 생성”에서 “텍스트 음성 변환”으로
지금까지 설명한 구조는 오디오를 생성하는 메커니즘이지만, 텍스트를 입력받아 그 내용을 음성으로 읽는 진정한 의미의 TTS가 되려면 **컨디셔닝(Conditioning)**이 추가되어야 한다. 즉, “어떤 텍스트를, 어떤 목소리로 발음할 것인가”를 모델에게 알려주는 메커니즘이 필요하다.
컨디셔닝 방식은 연구 기관마다 상당한 차이가 있으며, 크게 두 가지 범주로 나뉜다. 첫 번째 범주는 텍스트 전체가 확보된 후 오디오를 생성하는 방식이다. 모델이 시작 전에 모든 컨텍스트를 입력받아 오디오를 순차 생성한다. Mistral의 현재 모델이 이 범주에 속하며, 복제할 목소리의 샘플 몇 초와 발음할 텍스트 전체를 한꺼번에 제공하는 것이 유일한 입력이다. 이 방식에서 Mistral 모델의 첫 오디오 패킷 생성까지의 지연 시간은 단일 GPU 기준 17밀리초이다(네트워크 지연 제외).
16:06 - Mistral TTS 모델의 컨디셔닝 방식과 17ms 첫 오디오 패킷 지연 시간 스펙
두 번째 범주는 텍스트가 스트리밍으로 입력되는 동안 오디오를 실시간으로 생성하는 방식이다. 이를 구현하는 주요 아키텍처 패턴은 두 가지다. 하나는 인터리브(Interleave) 방식으로, 오디오 시퀀스와 텍스트 시퀀스를 동일한 레이어에서 교차 처리한다. 새로운 텍스트 토큰이 들어오면 곧바로 오디오 시퀀스와 같은 층에 삽입하여 처리하는 방식이다. 다른 하나는 이중 스트림(Dual Stream) 방식으로, 오디오 스트림과 텍스트 스트림을 별도로 유지하면서 추론 단계에서 이 두 스트림을 혼합한다. 강연자는 현재 어떤 아키텍처가 최선인지 명확한 결론이 없으며, Mistral의 다음 단계 방향도 아직 확정되지 않았다고 솔직하게 밝혔다.
16:48 - 실시간 텍스트 스트리밍 입력을 위한 두 가지 아키텍처 패턴 비교 (인터리브 vs 이중 스트림)
Q&A: 보이스 클로닝 공개 범위와 실시간 스트리밍의 의미
강연 후 청중과의 질의응답에서 두 가지 주목할 만한 내용이 다루어졌다.
첫 번째는 보이스 클로닝 기능의 공개 범위에 관한 질문이었다. 강연자는 모델의 가중치(weights)는 오픈소스로 공개되었지만, 보이스 클로닝에 필수적인 인코더 컴포넌트(임의의 음성 샘플을 음성 임베딩으로 변환하는 부분)는 공개하지 않았다고 밝혔다. 따라서 누구든 자신의 목소리를 복제하는 기능은 현재 Mistral의 독점(proprietary) 서비스로만 제공된다. 공개된 모델로는 Mistral이 사전에 준비해 제공하는 목소리(open voices)만 사용할 수 있다. 이 결정의 배경에는 보이스 클로닝 기술이 임의로 남용되는 상황을 방지하려는 의도가 있다.
두 번째는 실시간 텍스트 스트리밍의 실제적 의미에 관한 질문이었다. 강연자는 짧은 대화에서는 체감 차이가 크지 않지만, LLM이 한 페이지 분량의 긴 텍스트를 생성하는 상황을 예로 들었다. 텍스트 생성이 완전히 끝날 때까지 기다렸다가 TTS를 시작한다면 수십 초의 지연이 발생할 수 있지만, LLM의 첫 토큰이 출력되는 순간부터 TTS를 시작할 수 있다면 사용자는 즉시 음성을 들을 수 있다. 이 차이가 바로 실시간 스트리밍 아키텍처가 해결하려는 핵심 문제다.
마무리: TTS와 LLM 패러다임의 통합
이 강연의 핵심 메시지는 현대 TTS가 단순한 음성 합성 기술이 아니라 LLM 패러다임의 자연스러운 연장으로 진화하고 있다는 것이다. 오디오를 코덱으로 토크나이즈하고, 오토리그레시브 Transformer로 순차 생성하며, 첫 패킷부터 스트리밍 출력하는 방식은 모두 LLM 생태계에서 발전시켜 온 방법론을 오디오 도메인에 적용한 결과다. “인류는 토큰 시퀀스를 모델링하는 데 탁월하다”는 강연자의 표현은 이 접근법의 철학을 한 문장으로 압축한다.
Mistral의 첫 오픈소스 TTS 모델은 이 흐름의 최신 사례이며, 플로우 매칭 기반 프레임 생성이라는 독자적인 기여도 담고 있다. 실시간 텍스트 스트리밍 입력 지원이 다음 과제로 남아있으며, 인터리브 방식과 이중 스트림 방식 중 어느 것이 최선일지는 아직 열린 연구 문제다. AI 에이전트와의 자연스러운 음성 대화를 위한 기술적 기반이 빠르게 갖춰지고 있으며, 이 기술들이 성숙해질수록 음성 인터페이스는 AI 상호작용의 핵심 채널로 자리잡을 것이다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | Why TTS Models Now Look Like LLMs — Samuel Humeau, Mistral |
| 채널 | AI Engineer |
| 리포트 작성 | 2026-05-10 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.