Claude Code로 만드는 완전 자동화 영상 제작 파이프라인
📺 원본 영상: (오픈소스 제공) 클로드 코드로 긴 영상을 100% 자동으로 만들어보았습니다.｜Claude Code
🎙️ 채널: 빌더 조쉬 Builder Josh
📅 정리 일자: 2026-01-14
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
Notebook LM이 소스만 넣으면 팟캐스트를 자동 생성하듯이, 텍스트 입력만으로 완성된 영상을 만들 수 있다면 어떨까? 강연자는 Claude Code의 서브 에이전트와 스킬 구조를 활용해 대본 작성부터 일러스트 생성, 내레이션 녹음, 자막 생성, 영상 편집까지 모든 과정을 자동화하는 워크플로우를 구축했다. 이전에 제작한 마케팅팀 에이전트에서 유일하게 빠져있던 “긴 영상 만들기” 기능을 완성하기 위한 도전이었으며, 약 1분 길이의 샘플 영상 제작을 목표로 설정했다.
시스템 아키텍처: 에이전트 팀 구조
강연자는 Whimsical이라는 도구를 활용해 롱폼 영상 제작 에이전트 팀의 구조를 시각화했다. 전체 시스템은 생각보다 단순하지만 체계적으로 설계되어 있으며, 크게 두 개의 주요 팀으로 구성된다.
영상 감독 에이전트 - 기획 총괄의 역할
사용자의 명령을 받으면 가장 먼저 작동하는 것은 영상 감독 에이전트다. 이 에이전트는 오케스트레이션(orchestration) 역할을 담당하며, 각 하위 팀에 작업을 분배하고 전체 프로세스를 조율한다. “대본을 만들어줘”, “이미지 팀은 그림 그려”, “음향 팀, 내레이션 녹음해”, “자막 팀, 싱크 맞춰”, “편집 팀, 영상 합쳐”와 같이 각 팀의 역할을 명확히 지시하고 관리하는 지휘자 역할을 수행한다.
작가 팀 - 리서치와 대본 작성
첫 번째 실행 단계에서 작업이 하달되는 곳은 작가 팀이다. 리서치 대본 에이전트가 이 팀의 핵심이며, 콘텐츠를 스스로 리서치하고 주제에 맞는 명언을 선별하며, 원하는 방향으로 인터넷 자료를 조사해 대본을 작성한다. 대본의 퀄리티가 최종 영상의 완성도를 좌우하기 때문에, 이 단계에서의 고도화가 특히 중요하다. 강연자는 테스트를 위해 쇼펜하우어(Schopenhauer) 철학 명언을 주제로 선택해 샘플 대본을 생성하도록 설정했다.
영상 프로덕션 팀 - 스킬 기반 반복 작업
작가 팀이 대본을 완성하면, 실제 영상을 제작하는 영상 프로덕션 팀으로 작업이 넘어간다. 이 팀은 Claude의 “스킬(Skill)” 기능을 통해 반복적인 작업을 수행한다. 강연자는 서브 에이전트와 스킬의 차이를 명확히 구분했다. 서브 에이전트는 고도화된 사고가 필요하고 토큰을 많이 소비하는 작업에 적합한 반면, 스킬은 Claude에서 공식적으로 반복적이고 토큰 소비가 적은 업무에 권장하는 기능이다.
영상 프로덕션 팀은 네 개의 전문 직원으로 구성된다.
일러스트 제작 팀은 Gemini API를 활용해 영상에 들어갈 실제 일러스트와 그림을 그린다. 처음에는 Gemini 2.0 Flash를 사용했으나, 나중에 퀄리티 향상을 위해 Gemini 2.0 Pro 또는 3.0 Pro로 업그레이드하는 것을 권장한다.
음향 팀은 Gemini TTS(Text-to-Speech) API를 사용해 내레이션을 녹음한다. Gemini 2.5 Flash TTS가 AI Studio에서 제공되며, 깊고 낮은 목소리의 내레이션을 생성할 수 있다. 강연자는 나중에 이를 Gemini Pro 모델로 변경했다.
자막 생성 팀은 OpenAI의 Whisper 엔진을 활용한다. Whisper는 로컬 모델로도 사용 가능하며, Large V3 모델을 다운로드받아 생성된 음성을 인식하고 자막으로 변환한다. 다만 이 모델은 약 2GB의 용량을 차지하므로 충분한 저장 공간이 필요하다. 대안으로 OpenAI API 키를 직접 사용하는 방법도 있다.
영상 편집 팀은 Python의 FFmpeg 라이브러리를 활용해 모든 생성 요소를 하나로 합친다. 일러스트, 음성, 자막을 싱크에 맞춰 결합하고 효과를 추가하는 역할을 담당한다. 강연자는 자동 편집의 퀄리티가 전문가 수준은 아니지만, 여러 이미지를 배치하고 음성을 합성하며 자막을 입히는 기본적인 작업은 충분히 효과적이라고 평가했다.
💡 [영상 참조] 강연자는 이 시점에서 시스템 아키텍처 다이어그램을 화면에 표시하며 설명합니다. 상세 구조는 원본 영상을 참조하세요.
개발 환경 구축과 프롬프트 설계
강연자는 Cursor 에디터를 개발 환경으로 선택했다. 일부에서는 Cursor에서 Claude Code를 사용하는 것이 비효율적이라고 지적하지만, Cursor의 디자인 모드를 활용할 수 있고 오랜 사용 경험이 있기 때문에 계속 사용한다고 설명했다. 최근 유행하는 Antigravity 같은 도구가 Claude Code 활용에 더 가성비가 좋다는 의견도 있지만, 이는 다음 영상에서 다룰 예정이다.
프로젝트 초기화
Cursor에서 “Open Project”를 클릭해 새 폴더를 생성한다. 강연자는 “유튜브 롱폼 에이전트”라는 이름의 폴더를 만들었다. 터미널을 열고 Claude를 호출하면 “Do you trust files in this folder?”라는 메시지가 나타나며, 이후 Claude Code가 실행된다.
Claude Code 설치가 어려운 사용자를 위해, 최근 Claude에서 출시한 데스크톱 버전을 활용할 수도 있다. 강연자는 편의상 Cursor 내에서 Claude Code를 사용하는 방식을 택했다.
시스템 프롬프트 작성
프로젝트 폴더에 prompt.md 파일을 생성하고, 미리 작성해둔 시스템 프롬프트를 붙여넣는다. 강연자가 작성한 프롬프트는 “오디오북 영상 시스템 프롬프트 가이드”라는 제목으로, 오디오북 스타일의 영상 제작을 목표로 한다.
프롬프트의 0단계는 Claude Code의 스킬과 에이전트 구조를 이해하고 활용하도록 지시한다. 그 다음 아키텍처 설계 단계에서는 “오디오북 영상 자동 시스템을 만들 것”이라고 명시하고, 앞서 설명한 각 팀(일러스트, TTS, Whisper, 자막, 편집)의 역할을 상세히 기술한다.
강연자는 이 프롬프트가 상당히 길고 복잡하기 때문에 바로 따라 하기 어렵다는 점을 인정하면서도, 처음에 구조를 잘 짜고 시작한 후 Claude에게 프롬프트 제안을 요청하면 Claude가 오히려 더 나은 프롬프트와 계획을 제시해준다고 조언했다. 실제로 이 모든 프롬프트는 강연자가 직접 손으로 작성한 것이 아니라, Claude와의 협업을 통해 역프롬프팅(reverse prompting) 방식으로 완성되었다. 최종 프롬프트는 GitHub에 오픈소스로 공개될 예정이다.
프로젝트 초기화 명령
프롬프트 파악이 끝나면, “init”이라는 명령으로 프로젝트를 초기화한다. Initialize(초기화)의 약자로, 시작 단계에서 폴더 구조를 파악하고 필요한 파일을 생성하도록 지시하는 것이다.
초기화가 완료되면 에이전트 파일과 스킬 폴더가 자동으로 생성된다. 에이전트 파일에는 두 개의 주요 에이전트가 포함된다. video_agent는 영상 제작 파이프라인을 오케스트레이션하는 디렉터 역할을 하며, writer_agent는 콘텐츠를 기획하고 씬 데이터를 구성하는 작가 역할을 담당한다.
스킬 폴더에는 네 개의 스킬이 생성된다. video 스킬은 FFmpeg로 영상을 편집하는 편집자 역할을 하고, image 스킬은 Google Gemini를 활용해 일러스트를 생성한다. subtitle 스킬은 자막을 생성하며, tts 스킬은 Gemini 2.5 Flash TTS를 사용해 내레이션을 녹음한다. 강연자는 TTS 스킬을 나중에 Pro 모델로 변경할 것을 권장했고, 이미지 스킬도 Gemini 3.0 Pro를 사용하면 훨씬 높은 퀄리티를 얻을 수 있다고 강조했다.
API 키 설정과 외부 리소스 준비
Gemini API 키 발급
시스템을 구동하려면 Gemini API 키가 필요하다. ai.google.dev의 AI Studio에 접속해 “Get API Key”로 이동한다. TTS 생성과 이미지 생성 모두 Gemini API를 사용하기 때문이다.
강연자는 이 프로젝트에서 사용하는 API가 결제 연동이 필요하다는 점을 명확히 했다. Claude Code 자체도 Pro 플랜(월 20달러)에서만 작동하며, Gemini API 역시 Google Cloud Console에서 결제 연동이 되어 있어야 실제로 사용할 수 있다. 다만 전체 비용은 그리 크지 않으며, API 키를 잘 관리한다면 요금 폭탄을 맞을 위험도 크지 않다.
“API Key 만들기”를 클릭하고 프로젝트를 생성한다. 강연자는 “Long Form”이라는 이름으로 프로젝트를 만들었다. 프로젝트 생성 후 “Key 만들기”를 누르면 API 키가 생성되며, 이를 복사한다.
프로젝트 폴더로 돌아와 .env 파일을 새로 만든다. .env 파일은 비밀 정보를 저장하는 환경 변수 파일이다. 파일 안에 다음과 같이 작성한다.
GEMINI_API_KEY=복사한_API_키
Claude Code에 “.env 파일에 Gemini API Key가 있으니 확인해”라고 메시지를 보내면, 시스템이 API 키를 인식하고 사용할 준비가 완료된다.
폰트 파일 준비
영상 자막에 사용할 폰트를 준비해야 한다. 강연자는 Quoteera에서 발표한 손글씨 폰트의 무료 버전을 다운로드했다. 이 폰트는 상업적으로도 자유롭게 사용할 수 있다.
폰트를 찾으려면 눈누(noonnu.cc)에 접속한다. 눈누는 상업적 이용이 가능한 무료 폰트를 검색하고 다운로드할 수 있는 사이트다. 검색창에 “Quoteera”를 입력하면 Quoteera 손글씨체를 찾을 수 있다. 다운로드 페이지로 이동해 TTF 윈도우용 파일을 다운받아 프로젝트의 font 폴더에 저장한다. 이 폰트는 자막 생성 시 자동으로 적용된다.
배경음악(BGM) 준비
영상에 배경음악을 추가하기 위해 studio.youtube.com의 오디오 보관함을 활용한다. YouTube Studio의 오디오 보관함은 저작권 걱정 없이 무료로 사용할 수 있는 음악을 제공한다. 강연자는 클래식 음악 하나를 선택해 bgm.mp3라는 이름으로 assets/bgm 폴더에 저장했다. 이렇게 하면 배경음악이 자동으로 영상에 삽입된다.
첫 번째 영상 생성과 문제 해결
모든 준비가 완료되면, Claude Code에 “이 내용 포함해서 테스트 영상 하나 생성해줘”라고 요청한다. 시스템이 작동하기 시작하고, 각 에이전트와 스킬이 순차적으로 실행된다.
첫 번째 시도 - 문제 발견
생성이 완료되면 output 폴더 아래 주제별 폴더(강연자의 경우 schopenhauer)가 생성된다. 폴더 안에는 audio, images 등 각 단계에서 생성된 중간 파일들이 저장되어 있으며, 최종 결과물은 final_video.mp4로 저장된다.
첫 번째 영상을 재생해보니 몇 가지 문제가 발견되었다. 이미지가 화면 비율에 맞지 않게 찌그러져 늘어나 있었고, 자막이 음성과 정확히 동기화되지 않았다. 예를 들어 “과녁(관역)“이라는 단어가 잘못 인식되어 “관역”으로 표시되는 등 Whisper의 STT 정확도 문제도 있었다. TTS와 자막의 내용은 일치했지만 전반적인 퀄리티가 기대에 미치지 못했다.
두 번째 시도 - 개선 요청
터미널로 돌아가 문제 증상을 구체적으로 설명했다. “지금 이미지가 깨져 있고, Gemini 3 Pro를 사용하지 않은 것 같아. 그리고 자막도 음성과 맞지 않아서 문제가 되고 있어. 새로운 버전을 다시 개선해서 나에게 주길 바라”라고 요청했다.
시스템이 다시 작동하고 두 번째 버전이 생성되었다. 이번에는 이미지가 스케치 스타일의 일러스트로 개선되었고, Gemini 3 Pro가 제대로 적용된 것을 확인할 수 있었다. 그러나 자막 동기화 문제는 여전히 남아 있었다.
세 번째 시도 - Whisper 스킬 수정
“자막이 음성에 따라 제대로 나오지 않고 있어. 이 부분 Whisper 스킬 확인해서 고쳐줘”라고 재요청했다. Whisper 스킬이 다른 스킬들과 제대로 연동되지 않은 부분이 있었기 때문이다. 강연자는 이런 파이프라인 오류를 확인하는 것이 매우 중요하다고 강조했다.
세 번째 버전에서는 문제가 대부분 해결되었다. 스케치된 일러스트와 자막, 배경음악이 모두 싱크에 맞게 조화를 이루었고, 전체적인 내용도 충실하게 표현되었다. 약 15초 분량의 영상 제작에 소요된 API 비용은 100~200원 정도였다. 강연자는 30분 길이의 영상을 제작할 경우 API 비용만 5천원에서 1만원 정도 나올 것으로 예상했으며, 긴 영상 제작 시에는 비용 관리에 신중해야 한다고 조언했다.
Veo 3 API 테스트 - 실험적 시도
강연자는 마지막으로 Google의 Veo 3 API를 테스트해보기로 했다. Veo 3는 Gemini 엔진에 탑재된 비디오 생성 API로, 일러스트 대신 실제 영상을 생성할 수 있다. 다만 하루에 약 10회 정도만 호출 가능한 제한이 있어, Google도 아직 대중에게 완전히 개방하지 않은 상태다. 강연자는 이 API를 적극 추천하지는 않지만, 현재의 일러스트와 TTS 조합만으로도 충분히 활용 가치가 있다고 평가했다.
“Veo 3로 영상을 샘플로 하나 다시 만들어줘”라고 요청하면, 시스템이 엔진을 Veo 3로 변경하고 파이프라인을 재구성한다. 한 가지 주의할 점은 Veo 3가 자체적으로 사운드를 생성하는 옵션이 있는데, 이를 끄도록 명령해야 한다는 것이다. 그렇지 않으면 기존 TTS와 충돌할 수 있다.
Veo 3로 생성된 영상은 일러스트 대신 실제 영상 클립으로 구성되며, 시각적으로 더욱 풍부한 표현이 가능하다. 다만 호출 제한과 비용 문제로 인해 실용적인 대량 생산에는 제약이 있다.
💡 [영상 참조] 강연자는 Veo 3로 생성된 샘플 영상을 화면에 보여줍니다. 실제 결과물은 원본 영상에서 확인하세요.
실용적 활용 방향과 유의사항
강연자는 1~2시간짜리 장편 영상 제작 시 토큰량과 API 비용에 따라 과금이 상당할 수 있다는 점을 거듭 강조했다. 또한 이렇게 생성된 영상을 YouTube에 바로 업로드하는 것은 권장하지 않는다. YouTube는 앞으로 AI 생성 영상에 대한 가이드라인을 강화할 예정이기 때문이다.
대신 강연자가 이 시스템을 만든 진짜 목적은 뉴스레터 콘텐츠나 블로그 콘텐츠를 영상화하는 것이었다. Notebook LM에서 팟캐스트 음성을 자동 생성하듯이, 텍스트 기반 콘텐츠를 어느 정도 자동화해 영상으로 변환할 수 있다면 콘텐츠 제작 워크플로우가 크게 개선될 수 있다. 보고서나 아티클을 한 편의 오디오북 스타일 영상으로 만들어 독자에게 새로운 형식으로 제공하는 용도로 활용하는 것이 가장 현실적이라는 것이다.
마무리 - 자동화의 가능성과 한계
Claude Code의 서브 에이전트와 스킬 구조를 활용하면, 복잡한 멀티스텝 워크플로우를 자동화할 수 있다는 것이 이번 프로젝트의 핵심 메시지다. 대본 작성, 이미지 생성, 음성 합성, 자막 생성, 영상 편집이라는 다섯 단계의 작업이 한 번의 명령으로 자동 실행되며, 각 단계의 결과물이 다음 단계로 자연스럽게 전달된다.
물론 완성도 측면에서는 여전히 개선의 여지가 많다. 자막 동기화 정확도, 이미지 비율 조정, 편집 퀄리티 등은 여전히 수동 개입이나 추가 반복 작업이 필요하다. 그러나 프로토타입 제작이나 초안 생성 단계에서는 충분히 실용적이며, 인간 크리에이터가 최종 터치만 추가하면 완성도 높은 결과물을 빠르게 얻을 수 있다.
강연자는 앞으로도 Claude Code를 활용한 다양한 자동화 챌린지를 계속할 예정이며, 다음 영상에서는 Cursor 대신 Antigravity를 활용한 방법도 다룰 계획이라고 밝혔다. 최종 프롬프트와 코드는 GitHub에 오픈소스로 공개되어, 누구나 자신의 프로젝트에 맞게 커스터마이징해 사용할 수 있다.
핵심 정리
이번 프로젝트는 단순히 영상을 자동으로 만드는 것을 넘어, AI 에이전트 오케스트레이션의 실용적 사례를 보여준다. 각 전문 분야(대본, 이미지, 음성, 자막, 편집)를 담당하는 에이전트와 스킬이 유기적으로 협력하며, 상위 감독 에이전트가 전체 흐름을 조율한다. 이는 실제 영상 제작 팀의 구조를 코드로 구현한 것이나 다름없다.
비용 관리의 중요성도 간과할 수 없다. 15초 영상에 200원, 30분 영상에 5천~1만원이라는 비용은 소규모 프로젝트에는 부담스럽지 않지만, 대량 생산 시에는 사전 계획이 필요하다. 또한 AI 생성 콘텐츠에 대한 플랫폼 정책 변화를 주시하며, 윤리적이고 지속 가능한 방식으로 활용해야 한다.
궁극적으로 이 시스템은 “완벽한 자동화”가 아니라 “창의적 자동화”다. 인간이 큰 그림을 그리고 방향을 제시하면, AI가 반복적이고 시간 소모적인 작업을 대신 처리한다. 그 결과 크리에이터는 전략과 창의성에 더 많은 시간을 투자할 수 있게 된다. 앞으로 이런 에이전트 기반 자동화가 더욱 정교해지고 접근하기 쉬워진다면, 콘텐츠 제작의 패러다임 자체가 근본적으로 변화할 가능성이 크다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | (오픈소스 제공) 클로드 코드로 긴 영상을 100% 자동으로 만들어보았습니다.｜Claude Code |
| 채널 | 빌더 조쉬 Builder Josh |
| 리포트 작성 | 2026-01-14 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
| 오픈소스 저장소 | 강연자가 언급한 GitHub 저장소 (영상 내 링크 참조) |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 코드와 프롬프트는 원본 영상 및 강연자의 GitHub 저장소를 참조해 주세요.