Ending AI Slop — Thais Castello Branco, Taste Labs
📺 원본 영상: Ending AI Slop — Thais Castello Branco, Taste Labs
🎙️ 채널: AI Engineer
📅 정리 일자: 2026-08-01
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
Thais Castello Branco는 Taste Labs가 다루는 핵심 문제를 “AI Slop을 끝내는 것”으로 정의한다. 여기서 AI Slop은 단순히 품질이 낮은 생성물을 뜻하는 것이 아니라, 모델이 평균적이고 무난한 결과로 수렴하면서 디자인, 글쓰기, 브랜드 표현, 감성적 판단 같은 주관적 영역에서 생기는 구조적 품질 저하를 의미한다.
강연의 중심 주장은 명확하다. AI가 코딩과 수학에서는 빠르게 발전했지만, 디자인과 창작 영역에서는 같은 방식으로 성능을 끌어올리기 어렵다. 그 이유는 모델의 한계만이 아니라, 해당 도메인 자체가 측정과 검증에 잘 맞지 않는 성질을 갖고 있기 때문이다.
AI가 코딩은 잘하지만 디자인은 어려워하는 이유
강연자는 먼저 AI의 능력이 모델 자체의 속성만으로 설명되지 않는다고 지적한다. 코딩에서 모델이 강력해진 이유는 단순히 모델이 똑똑해졌기 때문이 아니라, 코드라는 대상이 실행 가능하고 검증 가능하며 분해 가능하기 때문이다. 어떤 코드가 맞는지 틀렸는지는 테스트, 컴파일, 실행 결과를 통해 상대적으로 명확히 판단할 수 있고, 이 특성은 모델 학습과 평가를 훨씬 쉽게 만든다.
반면 디자인이나 창의적 글쓰기에서는 “정답”이라는 개념이 훨씬 흐릿하다. 좋은 디자인이란 누구에게 좋은 디자인인지, 어떤 상황에서 좋은 디자인인지, 어느 시대의 감각에 맞는 디자인인지에 따라 달라진다. 스타트업에는 신선하고 대담해 보이는 슬라이드가 금융회사에는 부적절할 수 있으며, 오늘 세련되어 보이는 표현이 5년 뒤에는 낡아 보일 수 있다.
03:40 - 좋은 디자인을 정의할 때 대상 사용자, 취향, 상황에 따라 기준이 달라진다는 설명이 진행되는 구간
이 차이 때문에 주관적 도메인에서는 단순한 정확도나 정답률 중심의 평가가 잘 작동하지 않는다. 강연자는 이를 “capability follows measurability”, 즉 역량은 측정 가능성을 따른다는 말로 설명한다. 어떤 영역을 더 잘 측정하고 검증할 수 있게 만들수록, 그 영역에서 모델을 개선할 가능성도 커진다는 뜻이다.
퍼지한 문제를 검증 가능한 문제로 바꾸는 법
Taste Labs가 제안하는 첫 번째 접근은 모호한 품질 판단을 더 작은 구성 요소로 분해하는 것이다. 예를 들어 “좋은 디자인을 만들어라”라는 지시는 지나치게 추상적이지만, “브랜드에 맞는 디자인을 만들어라”라는 지시는 훨씬 다루기 쉬운 문제가 된다. 브랜드는 색상, 타이포그래피, 간격, 질감, 모션, 애니메이션 같은 요소로 쪼갤 수 있기 때문이다.
05:20 - Reducto 브랜드를 예시로 색상, 타이포그래피, 모션, 애니메이션, 질감 등 브랜드 구성 요소를 분해하는 구간
강연자는 Reducto 브랜드를 예시로 들며, 브랜드 적합성(Brand Adherence)을 검증 가능한 문제로 바꾸는 방식을 설명한다. 전체 결과물이 “브랜드답다”는 판단은 LLM-as-a-Judge만으로 안정적으로 평가하기 어렵지만, 브랜드를 구성하는 요소들을 세분화하면 비교적 관찰 가능하고 측정 가능한 기준을 만들 수 있다. 이때 중요한 것은 원본 웹사이트를 단순히 복제했는지를 보는 것이 아니라, 브랜드의 구성 원칙을 지키면서도 새로운 페이지를 만들 수 있는지를 평가하는 것이다.
이 접근은 Reinforcement Learning(RL, 강화학습) 환경을 설계할 때 특히 중요하다. 강연자는 주관적 과제를 RL에 적합한 형태로 만들려면, 먼저 Ground Truth(정답 기준)에 해당하는 평가 구조를 설계해야 한다고 말한다. 디자인 자체가 주관적이라도, 색상 사용, 타이포그래피 규칙, 레이아웃 정렬, 브랜드 톤처럼 분해된 요소들은 더 명확한 피드백 신호로 전환될 수 있다.
06:30 - 브랜드를 단순 복제하지 않고 Ground Truth 기준에 따라 새로운 페이지를 평가하는 RL 환경 설계 예시를 설명하는 구간
LLM-as-a-Judge만으로는 부족한 이유
강연자는 LLM-as-a-Judge가 주관적 영역의 평가에서 항상 최선의 방법은 아니라고 본다. 그 이유는 보상 해킹(Reward Hacking), 환각(Hallucination), 평가 기준의 불안정성 때문이다. 특히 디자인처럼 맥락과 취향이 중요한 영역에서는 모델이 그럴듯한 설명을 내놓더라도, 실제로 인간이 느끼는 품질과 어긋날 수 있다.
그렇다고 모든 문제를 인간 평가에만 맡겨야 한다는 뜻은 아니다. 강연의 핵심은 문제를 잘게 나눈 뒤, 각 하위 문제에 가장 적합한 해결 방식을 배정해야 한다는 데 있다. 정렬, 시각적 일관성, 타이포그래피 규칙처럼 상대적으로 객관화할 수 있는 요소는 프로그램적 검증이나 RL 환경으로 끌어올 수 있다. 반면 스타일, 취향, 창의성, 상황 적합성처럼 더 유동적인 요소는 인간 판단과 고품질 선호 데이터가 필요하다.
이 관점에서 Taste Labs의 전략은 단순히 “더 좋은 평가자 모델”을 만드는 것이 아니다. 오히려 평가해야 할 문제 자체를 재구성하고, 어떤 부분은 자동 검증으로, 어떤 부분은 인간 전문가 판단으로, 어떤 부분은 컨텍스트와 사용자 의도 이해로 보내는 라우팅 문제가 된다. 주관적 도메인을 다루려면 모델 성능뿐 아니라 과제 설계(Task Design) 자체가 핵심 기술이 되는 셈이다.
AI Slop의 본질은 평균으로의 붕괴다
강연에서 가장 중요한 개념 중 하나는 “collapse to the mean”, 즉 평균으로의 붕괴다. 언어모델은 다음에 올 가능성이 가장 높은 출력을 예측하도록 훈련되며, 객관적 문제에서는 이 방식이 잘 작동한다. 예를 들어 2 더하기 2의 답은 평균적 답변이자 올바른 답변이며, 동시에 최적의 답변이다.
하지만 디자인과 글쓰기에서는 가장 가능성 높은 답변이 반드시 가장 좋은 답변은 아니다. 창의성과 탁월함은 종종 분포의 중심이 아니라 양끝에서 나온다. 관습을 그대로 따르는 것이 아니라, 특정 맥락에서 의도적으로 규칙을 깨고 패턴에서 벗어날 때 더 강한 표현이 만들어질 수 있기 때문이다.
08:14 - 창의성과 탁월함이 평균이 아니라 분포의 끝에서 발생하며 AI Slop이 평균으로의 붕괴와 관련된다는 설명 구간
따라서 AI Slop은 단순히 모델이 실수해서 생기는 결과가 아니다. 많은 모델이 비슷한 평균적 패턴을 반복하고, 그 결과물이 무난하지만 생기 없고 차별성이 없는 방향으로 수렴하기 때문에 발생한다. 강연자는 이 문제를 해결하려면 분포를 다시 넓히고, 다만 무작위적 다양성이 아니라 의도된 다양성을 만들어야 한다고 본다.
인간의 취향을 데이터로 만드는 문제
주관적 영역에서 인간 판단은 여전히 핵심적인 역할을 한다. 강연자는 인간의 취향과 판단이 LLM-as-a-Judge보다 훨씬 높은 수준에 있다고 말하며, 중요한 질문은 이 판단을 어떻게 고품질 데이터로 바꿀 수 있는가라고 설명한다. 단순히 많은 사람에게 선호를 묻는 방식은 다시 평균으로 수렴할 위험이 크다.
과거의 Preference Data(선호 데이터) 수집 방식은 종종 응답자가 누구인지, 왜 그런 선택을 했는지, 어떤 맥락에서 그렇게 판단했는지를 충분히 반영하지 못했다. 그 결과 서로 다른 취향이 하나의 평균값으로 뭉개지고, 모델은 다양한 선호를 학습하는 대신 애매한 중간값을 학습하게 된다. 강연자는 세계가 본질적으로 Multi-Preference(다중 선호)의 구조를 갖고 있다고 보고, 선호 데이터에도 사람의 취향 벡터나 맥락 정보가 함께 붙어야 한다고 주장한다.
10:57 - 선호 데이터가 응답자의 정체성, 취향, 맥락 없이 수집될 때 평균으로 뭉개지는 문제를 설명하는 구간
이 접근은 특히 창작 도메인에서 중요하다. 두 전문가가 서로 다른 스타일을 선호한다고 해서 둘 중 하나가 틀린 것은 아니다. 오히려 그 불일치는 데이터의 결함이 아니라, 취향의 다원성을 보여주는 신호일 수 있다. 따라서 좋은 데이터셋은 합의를 강제로 만드는 것이 아니라, 어떤 기준에서는 합의가 필요하고 어떤 기준에서는 불일치가 유의미한지를 구분해야 한다.
데이터 품질은 양보다 구조에서 나온다
강연 후반부는 주관적 도메인을 위한 데이터 품질 관리에 집중한다. Thais는 고품질 데이터를 만드는 일이 비싸고 어렵지만, 이 영역에서는 양보다 질이 훨씬 중요하다고 강조한다. 많은 양의 잡음 섞인 데이터는 모델을 더 똑똑하게 만들기보다, 오히려 평균적이고 모호한 결과로 수렴시키는 원인이 될 수 있다.
좋은 데이터는 먼저 문제 분해에서 시작된다. 디자인이라는 큰 문제를 정렬, 시각 계층, 브랜드 적합성, 스타일, 창의성 같은 하위 요소로 나누고, 각 요소에 맞는 전문가를 선택해야 한다. Taste Labs는 다양한 매체와 스타일에 전문성을 가진 1,000명 이상의 디자이너 커뮤니티와 함께 일한다고 설명하며, 이 전문가 분포를 의도적으로 설계함으로써 모델이 한쪽 평균으로 무너지는 것을 막으려 한다.
또 하나의 핵심은 전문가의 설명이 얼마나 구체적인가이다. 어떤 디자인이 좋은지 나쁜지를 판단할 때, 단순한 호불호보다 구체적인 이유와 관찰 체계가 함께 제공되어야 데이터 신호가 강해진다. 예를 들어 랜딩 페이지를 평가하는 전문가가 시각적 문제를 설명할 때, 그 코멘트가 실제 코드의 어떤 컴포넌트와 연결되는지까지 매핑할 수 있다면 모델 입장에서는 훨씬 덜 시끄럽고 더 학습 가능한 데이터가 된다.
13:37 - 전문가 코멘트를 실제 코드 컴포넌트와 연결하면 데이터가 덜 시끄럽고 더 명확해진다는 설명 구간
QA와 합의의 역할을 다시 정의해야 한다
Human QA(인간 품질 검수)는 주관적 데이터에서 단순한 정답 확인 절차가 아니다. 강연자는 슬라이드 디자인 선호 데이터를 예로 들며, 어떤 경우에는 전문가 간 합의가 필요하지만 어떤 경우에는 불일치가 오히려 좋은 데이터일 수 있다고 설명한다. 정렬처럼 비교적 객관적인 요소에서 전문가들의 의견이 크게 갈린다면 데이터 품질 문제일 가능성이 높다.
하지만 스타일이나 미학에 대한 의견 차이는 다르게 해석해야 한다. 어떤 전문가는 미니멀한 표현을 선호하고, 다른 전문가는 더 강한 시각적 개성을 선호할 수 있다. 이 차이는 오류가 아니라 취향 공간의 구조를 드러내는 신호이며, 모델이 실제 사용자 세계의 다양성을 이해하도록 만드는 데 도움이 된다.
14:44 - 전문가들이 스타일이나 미학에서 의견이 갈리는 것이 나쁜 데이터가 아니라 취향 차이를 보여주는 좋은 데이터일 수 있다고 설명하는 구간
따라서 좋은 QA는 모든 판단을 하나의 합의로 몰아가는 절차가 아니다. 오히려 기본기와 객관적 기준은 엄격하게 검수하되, 취향과 스타일의 차이는 의도적으로 보존해야 한다. 이 관점은 AI 평가에서 “일치율이 높을수록 좋은 데이터”라는 단순한 믿음을 수정하게 만든다.
핵심 프레임워크
| 구분 | 강연자의 문제 정의 | 적합한 접근 |
|---|---|---|
| 객관적 요소 | 정렬, 타이포그래피 규칙, 시각적 일관성처럼 비교적 검증 가능한 요소 | 프로그램적 검증, RL 환경, 명확한 Ground Truth 설계 |
| 반주관적 요소 | 브랜드 적합성처럼 분해하면 일부 측정 가능한 요소 | 브랜드 구성 요소 분해, 평가 기준 구조화, 전문가 검수 |
| 주관적 요소 | 스타일, 취향, 창의성, 맥락 적합성처럼 평균값이 최적이 아닌 요소 | 인간 판단, 선호 벡터, 고품질 Preference Data |
| 데이터 품질 | 양이 많아도 맥락과 구체성이 없으면 잡음이 커지는 문제 | 전문가 선별, 구체적 설명, 코드와 시각 코멘트의 연결 |
이 표가 보여주는 핵심은 주관적 도메인을 하나의 평가 방식으로 해결할 수 없다는 점이다. 검증 가능한 것은 최대한 검증의 영역으로 끌어오고, 검증하기 어려운 것은 인간 판단과 취향 구조를 더 정교하게 데이터화해야 한다. 결국 AI Slop을 줄이는 일은 모델 하나를 더 크게 만드는 문제가 아니라, 평가 기준, 데이터 수집, 전문가 판단, 사용자 맥락을 함께 설계하는 문제에 가깝다.
마무리 / 핵심 정리
Thais Castello Branco의 강연은 AI Slop을 표면적인 생성 품질 문제가 아니라, 주관적 도메인을 잘못 측정하고 잘못 평균화한 결과로 해석한다. 코딩과 수학에서 성공한 평가 방식이 디자인과 창작에도 그대로 적용될 수 없으며, 이 차이를 인정하는 것에서 문제 해결이 시작된다.
가장 중요한 takeaway는 주관적 문제를 가능한 한 분해하고, 각 요소를 적절한 해결 방식으로 라우팅해야 한다는 점이다. 브랜드 적합성처럼 일부는 검증 가능한 구조로 바꿀 수 있고, 창의성이나 미학처럼 일부는 인간 취향과 맥락을 더 정밀하게 데이터화해야 한다. 결국 AI가 더 “좋은” 결과를 만들게 하려면, 무엇이 좋은지에 대한 인간의 복잡한 판단을 평균으로 뭉개지 않고 구조화하는 능력이 필요하다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | Ending AI Slop — Thais Castello Branco, Taste Labs |
| 채널 | AI Engineer |
| 리포트 작성 | 2026-08-01 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.