Evaling Video Slop — Maor Bril, Character.ai
📺 원본 영상: Evaling Video Slop — Maor Bril, Character.ai
🎙️ 채널: AI Engineer
📅 정리 일자: 2026-07-26
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
이 강연에서 Character.ai의 Maor Bril은 AI 영상 생성 기술이 빠르게 발전했지만, 생성된 영상의 품질을 평가하는 체계는 그 속도를 따라가지 못하고 있다고 지적한다. Kling, Seedance, Veo, Sora 같은 모델이 영상 생성 비용과 난도를 크게 낮춘 반면, 좋은 영상인지 아닌지를 판단하는 과정은 여전히 사람의 눈과 주관적 판단에 많이 의존한다는 것이다.
강연의 핵심은 “영상은 프레임의 집합이 아니라 이야기”라는 관점이다. 기존의 CLIP Score나 LPIPS 같은 지표는 개별 프레임의 프롬프트 일치도나 프레임 간 변화량을 평가하는 데 유용하지만, 캐릭터가 일관되게 유지되는지, 물리적으로 말이 되는지, 장면의 페이싱이 자연스러운지, 오디오와 영상이 맞물리는지까지 판단하기에는 부족하다. Bril은 이 문제를 해결하기 위해 인간 평가, LLM-as-a-judge, 작은 VLM(Visual Language Model), 쌍별 비교(pairwise comparison), 그리고 생성 루프 안에 들어가는 평가 시스템을 결합한 접근을 소개한다.
생성은 쉬워졌지만, 좋은 영상은 여전히 어렵다
Bril은 AI 영상 생성의 현재를 두 개의 평행한 흐름으로 설명한다. 한쪽에서는 생성 모델이 매우 빠르게 좋아지고 있으며, 누구나 소셜 미디어에서 특정 모델로 “멋진 영상 만드는 법”을 쉽게 찾아볼 수 있을 정도로 제작 장벽이 낮아졌다. 그러나 다른 한쪽에서는 생성된 결과물이 정말 좋은지 판단하는 평가 체계가 충분히 성숙하지 못했다. 영상 생성이 스튜디오 제작 비용과 비교하면 거의 무료에 가까워졌지만, 그렇게 대량으로 만들어지는 영상의 상당수는 여전히 어색하거나 품질이 낮다는 것이 그의 문제의식이다.
그가 말하는 “AI slop”은 단순히 화질이 낮은 영상만을 뜻하지 않는다. 팔이 하나 더 생기거나, 문을 여는 동작과 닫는 동작이 동시에 일어나거나, 인물이 계단을 걷는 대신 떠다니는 식의 물리적 오류가 여기에 포함된다. 이런 오류는 개별 이미지만 보면 그럴듯하게 보일 수 있지만, 시간의 흐름 속에서 보면 즉시 드러난다. 결국 고품질 장편 영상을 만들기 위해서는 여러 개의 짧은 생성 결과를 만들고, 사람이 이를 보고 고르고, 편집하고, 다시 생성하는 과정이 필요해진다.
이 지점에서 Bril은 기존 도구의 한계를 짚는다. 이미지 시대와 텍스트 시대에 만들어진 평가 도구를 영상에 그대로 적용하면, 프레임 하나하나가 프롬프트와 잘 맞는지 또는 프레임 사이의 드리프트가 얼마나 있는지는 볼 수 있다. 하지만 영상이 전달하려는 이야기를 실제로 전달했는지, 캐릭터가 여러 샷을 지나도 같은 인물로 유지되는지, 장면 전환의 속도가 자연스러운지 같은 질문에는 답하지 못한다. 영상은 본질적으로 시간 위에서 작동하는 매체이기 때문에, 정적인 프레임 평가만으로는 품질의 핵심을 놓치게 된다.
프레임 평가에서 이야기 평가로
Bril이 반복해서 강조하는 관점은 영상이 “스토리텔링 매체”라는 점이다. 생성된 영상이 좋은지 평가하려면, 단순히 프롬프트에 등장한 객체가 화면에 있는지 확인하는 수준을 넘어야 한다. 예를 들어 “캐릭터가 계단을 내려간다”는 프롬프트가 있을 때, 모델은 캐릭터와 계단을 그럴듯하게 만들 수 있지만, 실제로 걷는 동작이 아니라 떠다니는 장면을 만들 수도 있다. 이 경우 프레임 단위로는 그럴듯해 보여도, 영상의 사건과 물리 세계는 실패한 것이다.
또 다른 축은 캐릭터의 정체성 유지다. 여러 샷으로 구성된 긴 영상에서는 시작 프레임마다 인물의 얼굴, 의상, 체형, 분위기가 조금씩 달라질 수 있다. 이런 작은 드리프트는 짧은 클립 하나에서는 사소해 보이지만, 여러 클립을 이어 붙이면 이야기의 연속성을 해친다. Bril은 특히 긴 영상이 대개 6초 안팎의 짧은 생성 결과들을 편집해 만들어진다는 점을 언급하며, 개별 조각에서 문제가 생겼을 때 초기에 잡아내는 것이 전체 영상을 다시 만드는 것보다 훨씬 싸다고 설명한다.
06:13 - 서로 다른 샷의 시작 프레임을 비교하며 캐릭터 드리프트를 조기에 탐지하는 예시 화면
오디오 역시 같은 문제 구조를 가진다. 누군가 문을 세게 닫는 장면이라면, 문이 실제로 닫히는 바로 그 순간에 충격음이 나야 한다. 화면과 소리가 어긋나면 사용자는 즉시 부자연스러움을 느끼고, 이 부자연스러움은 영상이 전달하려는 몰입감을 깨뜨린다. 따라서 좋은 영상 평가는 시각적 일관성, 물리적 타당성, 시간적 페이싱, 오디오 싱크를 함께 보는 복합적인 평가가 되어야 한다.
LLM-as-a-Judge의 장점과 병목
영상 평가 문제에 대해 많은 팀이 시도한 다음 단계는 LLM-as-a-judge였다. 강력한 파운데이션 모델에 영상을 넣고, “이 영상이 일관적인가”, “프롬프트와 맞는가”, “좋은가”를 묻는 방식이다. 이 접근은 사람이 모든 결과물을 직접 보지 않아도 된다는 점에서 매력적이지만, Bril은 곧바로 세 가지 병목을 지적한다. 느리고, 비싸며, 프롬프트에 따라 결과가 크게 달라진다는 것이다.
특히 “좋은가?”라는 질문은 생각보다 불안정하다. 같은 모델이라도 평가 프롬프트가 조금 달라지면 다른 답을 내놓을 수 있고, 평가자가 중요하게 보는 기준이 명시되지 않으면 모델은 영상의 진짜 품질이 아니라 표면적 인상에 끌릴 수 있다. Bril의 팀은 초기에는 여러 지표와 LLM-as-a-judge를 결합한 반복 가능한 벤치마크 하네스를 만들었다. 이 하네스는 개별 프레임을 보는 지표들과, 인간 주석으로 보정된 LLM 평가를 함께 사용해 영상 점수를 산출했다.
그러나 이 구조는 사용자 경험에 가까운 곳에서 쓰기에는 너무 느렸다. 영상 생성이 창작 과정의 일부가 되려면, 평가가 최종 검수 단계에만 있어서는 안 된다. 사용자가 여러 번 생성하고 수정하는 과정 중간에 평가가 들어와야 하며, 문제가 발견되면 빠르게 다시 생성하거나 방향을 조정할 수 있어야 한다. Bril은 평가를 생성 루프에 최대한 가깝게 붙이는 것이 품질과 비용을 동시에 개선하는 핵심이라고 본다.
작은 VLM으로 평가 전문가 위원회를 증류하다
Bril의 팀이 택한 해결책은 여러 평가자와 지표로 구성된 “전문가 위원회”를 하나의 작은 VLM으로 증류하는 것이었다. 목표는 단순히 이 영상이 나쁜지 아닌지를 판정하는 모델이 아니라, 왜 낮은 점수를 받았는지 설명할 수 있는 빠른 평가 모델을 만드는 것이었다. 예를 들어 팔이 추가되었는지, 물리를 어겼는지, 오디오가 어긋났는지 같은 구체적 원인을 출력할 수 있어야 한다. 이 모델은 이미지를 볼 수 있어야 하므로 VLM이어야 했고, 생성 루프 근처에서 동작해야 하므로 충분히 빨라야 했다.
강연에 따르면 이들이 학습한 작은 VLM은 15초짜리 영상을 약 3초 만에 평가할 수 있었다. 더 큰 모델도 실험했으며 결과 자체는 더 좋았지만, 속도 저하가 추가 품질 향상을 정당화할 만큼 크지는 않았다고 한다. 이 판단은 엔지니어링 관점에서 중요하다. 평가 모델은 오프라인 리더보드에서만 좋은 점수를 내는 도구가 아니라, 실제 생성 제품의 흐름 안에서 반복 호출되는 시스템이기 때문에 지연 시간과 단가가 품질만큼이나 중요한 제약이 된다.
08:49 - 작은 VLM이 15초 영상을 약 3초 만에 평가한다는 성능 설명 구간
여기서 언급된 Qwen 계열의 작은 VLM 선택도 같은 맥락이다. Bril은 Qwen을 선택한 이유로 충분히 작은 크기와 기존 후속 학습(post-training) 경험을 들었다. 즉, 특정 모델이 이론적으로 가장 뛰어나서라기보다, 팀이 이미 다뤄본 경험이 있고 목적에 충분히 맞았기 때문에 선택한 것이다. 이는 모델 선택이 종종 절대 성능 경쟁이 아니라, 데이터 파이프라인, 서빙 비용, 튜닝 경험, 실제 제품 요구사항의 균형이라는 점을 잘 보여준다.
절대 점수보다 쌍별 비교가 강한 이유
강연에서 가장 실용적인 통찰 중 하나는 “점수를 매기지 말고 비교하라”는 조언이다. Bril은 사람들에게 하나의 영상을 보여주고 스토리텔링을 1점부터 10점까지 평가하라고 하면, 어떤 사람에게는 6점인 영상이 다른 사람에게는 4점 또는 8점이 될 수 있다고 설명한다. 절대 점수는 평가자의 취향, 기준, 관대함, 경험에 따라 크게 흔들린다. 반면 두 개의 영상을 보여주고 어느 쪽이 더 이야기를 잘 전달하는지 묻는다면, 사람들의 합의는 훨씬 쉽게 모인다.
이 접근은 모델 학습에도 유리하다. “A는 7점, B는 6점”이라고 학습시키는 것보다 “A가 B보다 낫다”는 상대적 선호를 학습시키는 편이 더 안정적인 신호를 제공한다. Bril의 팀은 1점부터 10점까지의 절대 점수 대신 A 대 B의 쌍별 비교 데이터를 사용해 모델을 훈련했다. 이는 최근 LLM 정렬과 선호 학습에서 널리 쓰이는 사고방식과도 닿아 있다.
나쁜 영상 데이터를 만드는 방식도 흥미롭다. 인터넷에는 고품질 영상이 많기 때문에 좋은 예시는 비교적 쉽게 구할 수 있었고, 나쁜 예시는 좋은 영상을 일부러 손상시키거나 무작위로 품질 낮은 생성 영상을 만들어 확보했다. 그러나 이 방식은 초기 모델에서 큰 실패를 낳았다. 모델은 카메라워크가 전혀 없는 정지 이미지 같은 영상에 9.2점을 주는 등, 실제 평가 축이 아니라 영상의 “그럴듯한 분위기”와 표면적 광택을 배워버렸다.
10:41 - 정지 이미지에 가까운 영상이 카메라워크 점수 9.2를 받은 초기 모델 실패 사례
데이터셋의 함정은 모델의 함정이 된다
초기 버전의 실패는 모델 문제가 아니라 데이터 문제에 가까웠다. Bril은 모델이 “축(axis)”을 평가한 것이 아니라 “vibe”를 평가했다고 표현한다. 즉, 카메라워크, 물리, 스토리텔링, 페이싱 같은 명시적 기준을 보지 않고, 영상이 전반적으로 그럴듯하고 매끈해 보이는지만 학습한 것이다. 그래서 정지 화면이어도 사진처럼 보기 좋으면 카메라워크가 훌륭하다고 판단하고, 유령처럼 떠다니는 인물에도 물리가 괜찮다는 판정을 내릴 수 있었다.
이를 고치기 위해 팀은 데이터셋을 다시 설계했다. Bril은 실제 촬영 영상과 AI 생성 영상을 쌍으로 묶는 방식으로 데이터를 구성하기 시작했다고 설명한다. 다만 그는 처음에 이 방식을 피했는데, 그 이유는 모델이 영상 품질 평가기가 아니라 AI 영상 탐지기로 과적합될 위험이 컸기 때문이다. “좋은 것은 인간이 만든 영상, 나쁜 것은 AI가 만든 영상”이라는 단순한 구조로 학습하면, 모델은 품질이 아니라 생성 여부를 판별하는 지름길을 배울 수 있다.
이 위험을 줄이기 위해 그는 두 가지 제약을 둔다. 첫째, 양쪽 영상의 인코딩을 일관되게 맞춰 특정 압축 흔적이나 인공적 아티팩트가 한쪽에만 나타나지 않도록 했다. 둘째, 양쪽 영상의 평가 축을 같은 방식으로 주석 처리했다. 이 설계 덕분에 모델은 “AI처럼 보이는가”가 아니라 “스토리, 물리, 페이싱, 일관성 같은 축에서 더 나은가”를 배우도록 유도되었다. Bril은 이 수정 이후 결과가 상당히 좋아졌다고 설명한다.
12:39 - 실제 촬영 영상과 AI 영상의 인코딩을 일관되게 맞춰 AI 탐지기로 과적합되는 위험을 줄이는 데이터셋 설계 설명
파이프라인에서 에이전트형 워크플로로
Bril은 영상 생성 시스템이 복잡한 고정 파이프라인에서 에이전트형 워크플로(agentic workflow)로 이동해야 한다고 본다. 고정 파이프라인은 사용 사례가 좁고 입력이 예측 가능할 때 잘 작동한다. 하지만 실제 사용자 앞에 놓이면 상황은 달라진다. 사용자는 각자 다른 캐릭터, 다른 이미지, 다른 목소리, 다른 이야기를 만들고 싶어 하며, 이 다양성은 파이프라인이 예상하지 못한 드리프트를 만든다.
에이전트형 접근의 핵심은 생성 시스템이 자기 산출물을 평가할 도구를 갖는다는 점이다. 에이전트가 영상을 만들고, 평가 모델이 스토리텔링이나 물리, 오디오 싱크 같은 축에서 문제를 찾아내면, 에이전트는 그 결과를 바탕으로 다시 생성하거나 수정할 수 있다. 이렇게 평가가 생성 루프 안으로 들어오면, 품질 관리는 최종 검수 단계가 아니라 생성 과정의 일부가 된다. Bril이 말하는 “eval을 생성 루프에 최대한 가깝게 두라”는 조언은 바로 이 구조를 가리킨다.
13:46 - 고정 파이프라인에서 에이전트형 워크플로로 전환하고 평가 도구를 생성 루프에 넣는 구조 설명
이 접근은 비용 구조에도 직접적인 영향을 준다. 긴 영상을 완성한 뒤 문제가 발견되면 전체 편집과 생성 과정을 되돌려야 하지만, 6초짜리 클립에서 드리프트를 발견하면 해당 조각만 다시 만들면 된다. 초기 프레임 단계에서 캐릭터가 이미 달라졌다는 것을 잡아내면, 아직 비싼 영상 생성을 실행하기 전에 수정할 수 있다. 평가가 빠르고 저렴할수록 생성 과정은 더 많이 실험하고 더 빨리 회복할 수 있다.
오디오 평가는 품질, 타이밍, 의미의 결합이다
Q&A에서 한 청중은 효과음과 영상의 매칭을 어떻게 평가하는지 물었다. Bril의 답변에 따르면 사운드 평가는 몇 가지 요소의 결합으로 이뤄진다. 먼저 음질이 충분히 높고 이해 가능한지 확인하는 단계가 있으며, 이후 모델은 영상의 핵심 프레임을 식별하고 프롬프트와 함께 오디오를 대조한다. 예를 들어 프롬프트에 “문이 세게 닫힌다”는 내용이 있다면, 모델은 문이 닫히는 프레임을 찾고 그 시점에 오디오의 스파이크가 있는지 확인한다.
16:37 - 문이 닫히는 프레임의 타임스탬프와 오디오 스파이크를 맞춰 사운드 싱크를 평가하는 예시
이 방식은 모델이 소리의 정체를 완전히 이해한다기보다, 영상 이벤트와 오디오 이벤트의 시간적 상관관계를 보는 방식에 가깝다. Bril은 문이 닫히는 장면이 6번째 프레임에 있고 그 프레임이 특정 타임스탬프를 가진다면, 해당 타임스탬프에서 소리의 피크가 있는지 확인한다고 설명한다. 이 접근은 문소리, 충돌음, 폭발음처럼 시각적 이벤트와 음향 피크가 명확히 연결되는 경우에 특히 유용하다. 다만 소리의 의미를 정교하게 분류하는 문제와는 구분된다.
립싱크(lip syncing)에 대해서는 아직 해결되지 않은 문제라고 답했다. 특히 Character.ai가 다루는 캐릭터 중에는 인간형 talking head도 있지만, 입 모양과 음성 사이에 실제 인간 발화처럼 대응관계가 없는 애니메이션 캐릭터도 있다. 인간 얼굴의 입술 움직임은 기존 비전 기법으로 어느 정도 분석할 수 있지만, 추상적이거나 스타일화된 캐릭터의 입 움직임은 훨씬 더 모호하다. Bril은 이 문제에 대해 아직 확실한 해결책은 없으며 계속 작업 중이라고 밝혔다.
인간 평가와 취향의 문제
또 다른 질문은 데이터셋을 인간 평가로 더 풍부하게 만들 때 “좋은 취향”을 어떻게 정렬할 것인지에 관한 것이었다. Bril은 이 문제를 완전히 자동화된 답으로 처리하지 않는다. 그의 팀은 주기적으로 사람들이 10분에서 15분 정도 영상을 주석 처리하는 세션을 운영하고, 이 데이터를 AI judge를 보정하는 데 사용한다. 모든 사람이 같은 영상을 10개 축으로 평가하는 방식이 아니라, 여러 축을 랜덤하게 나누어 평가하고 그 결과를 다음 모델 버전의 학습 데이터로도 활용한다.
중요한 점은 이 과정이 즉각적인 해결책이 아니라 지속적인 보정 과정이라는 것이다. Bril은 취향이 주관적이며, 자신에게 훌륭해 보이는 영상이 다른 사람에게는 그렇지 않을 수 있다고 인정한다. 따라서 인간 피드백은 단일 정답을 제공하는 장치라기보다, 모델의 판단이 실제 사용자와 평가자의 선호 분포에서 너무 멀어지지 않도록 계속 조정하는 장치에 가깝다. 이는 영상 품질 평가가 단순한 객관식 문제가 아니라, 기술적 결함과 미학적 판단이 함께 얽힌 문제임을 보여준다.
이런 구조에서는 평가 축을 명확히 분리하는 것이 더 중요해진다. “좋다”라는 총평은 취향의 영향을 크게 받지만, “캐릭터가 같은 인물로 유지되는가”, “문 닫는 소리와 화면이 맞는가”, “계단을 실제로 걷는가” 같은 질문은 상대적으로 합의하기 쉽다. Bril의 접근은 주관적 취향을 완전히 제거하려는 것이 아니라, 평가 가능한 축을 최대한 구체화해 모델이 배울 수 있는 신호로 바꾸는 데 초점이 있다.
규모와 단가가 평가 아키텍처를 결정한다
청중이 “Character.ai처럼 대규모로 영상을 만들지 않는 조직도 이런 모델이 필요한가”라고 묻자, Bril은 규모의 문제를 속도와 비용의 문제로 풀어 설명한다. 작은 도메인에서 수백 개 또는 천 개 정도의 영상을 평가한다면, 반드시 별도의 소형 모델을 학습해야 하는 것은 아닐 수 있다. 기존 지표, CPU와 GPU에서 실행 가능한 메트릭, 그리고 프론티어 모델을 조합한 전문가 위원회 방식만으로도 충분히 작동할 수 있다. 다만 그 방식은 더 느리고, 호출 비용이 더 높을 수 있다.
그가 작은 모델로 간 이유는 창작 과정을 빠르게 만들기 위해서였다. 하루에 한두 개 영상을 평가한다면 고성능 프론티어 모델을 사용해도 큰 문제가 없을 수 있다. 하지만 하루 수천 개, 수만 개 단위로 평가가 반복되면 단가는 제품 구조를 좌우하는 핵심 변수가 된다. Bril은 결국 이것이 unit economics의 문제라고 정리한다.
이 답변은 AI 시스템 설계에서 자주 반복되는 현실적인 교훈을 담고 있다. 가장 강력한 모델을 쓰면 품질은 좋아질 수 있지만, 그 품질 향상이 지연 시간과 비용을 정당화하는지는 별개의 문제다. 특히 평가 모델은 생성 모델 뒤에서 한 번만 호출되는 장식적 기능이 아니라, 생성 과정 중 여러 번 호출될 수 있는 인프라다. 따라서 영상 평가 시스템은 모델 성능만이 아니라 호출 빈도, 서빙 방식, GPU 사용량, 사용자 대기 시간까지 포함해 설계되어야 한다.
OTel 추적과 평가 하네스의 확장성
마지막 질문은 공개 저장소의 평가 하네스가 아직 OTel(OpenTelemetry) traces를 export하지 않는다는 점에 관한 것이었다. Bril은 저장소 자체가 하네스이며, 원하는 에이전트나 LLM을 연결할 수 있는 구조라고 설명한다. 내부적으로는 서비스 형태로 실행되는 버전이 있고, 그 위에 에이전트형 하네스와 팀이 중요하게 보는 여러 메트릭이 올라가 있다고 한다. 그는 해당 기능 요청을 받아들이며, 하네스에 OTel telemetry를 추가하겠다고 답했다.
22:41 - 평가 하네스에 OTel telemetry를 추가하겠다는 답변과 내부 서비스형 하네스 구조 설명
이 대목은 강연의 주제가 단지 모델 학습이 아니라 평가 인프라 전체라는 점을 보여준다. 영상 품질 평가는 단일 함수 호출로 끝나지 않고, 입력 프롬프트, 생성된 클립, 중간 평가, 재생성, 최종 조합, 인간 주석이 연결된 긴 워크플로다. 이런 시스템에서는 어떤 평가자가 어떤 입력에 대해 어떤 판단을 내렸는지 추적하는 기능이 중요하다. OTel 같은 관측성 도구가 붙으면 평가 결과의 원인을 분석하고, 특정 모델이나 프롬프트 변경이 품질에 미친 영향을 더 체계적으로 추적할 수 있다.
마무리 / 핵심 정리
Bril의 강연은 AI 영상 평가를 “프레임이 프롬프트와 맞는가”라는 좁은 질문에서 “이 영상이 의도한 이야기를 제대로 전달하는가”라는 넓은 질문으로 확장한다. 생성 모델이 좋아질수록 더 많은 영상이 만들어지지만, 그중 실제로 쓸 만한 영상을 고르고 개선하는 병목은 더 두드러진다. 따라서 좋은 평가 시스템은 단순한 점수판이 아니라, 생성 과정 가까이에서 오류를 잡고, 원인을 설명하고, 다시 생성하도록 돕는 피드백 루프가 되어야 한다.
가장 중요한 실무적 교훈은 세 가지로 압축된다. 첫째, 절대 점수보다 상대 비교가 더 안정적인 학습 신호를 준다. 둘째, 모델이 실제로 평가하길 원하는 축을 데이터에 명확히 반영해야 하며, 그렇지 않으면 모델은 표면적 분위기나 아티팩트 같은 쉬운 지름길을 배운다. 셋째, 평가는 생성 루프 안으로 들어가야 한다. 영상이 이야기라면, 영상 평가 역시 프레임의 모음이 아니라 시간, 사건, 캐릭터, 소리, 의도를 함께 읽는 시스템이어야 한다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | Evaling Video Slop — Maor Bril, Character.ai |
| 채널 | AI Engineer |
| 리포트 작성 | 2026-07-26 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.