모델은 아직 무엇을 못 하는가? — BullshitBench와 Arena 데이터로 본 LLM의 한계
📺 원본 영상: What Do Models Still Suck At? - Peter Gostev, Arena.ai, BullshitBench 🎙️ 채널: AI Engineer 📅 정리 일자: 2026-04-25 ⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
Arena.ai의 Peter Gostev는 이 강연에서 AI 모델 성능을 보여주는 각종 벤치마크 지표들이 전체 그림을 담아내지 못한다는 논지를 제시한다. 그는 직접 설계한 “BullshitBench”와 Arena.ai가 수집한 550만 건 이상의 실사용자 투표 데이터를 근거로, 모델들이 여전히 취약한 영역이 분명히 존재함을 구체적인 데이터로 뒷받침한다. 특히 비논리적 전제를 가진 질문에 대한 거부 능력, 추론 모드의 역효과, 그리고 창작·전문 도메인에서의 정체된 개선이 핵심 주제로 다루어진다.
벤치마크 상승 곡선이 만들어내는 착시
AI 모델 발전을 추적하는 어떤 벤치마크를 보더라도 지표는 계속 상승한다. Chatbot Arena와 같은 플랫폼의 순위도 마찬가지로, 새 모델이 출시될 때마다 많은 이들을 놀라게 한다. 이런 상황이 반복되면서 일종의 집단적 심리 현상이 나타나고 있는데, Gostev는 이를 “사이코시스(psychosis)“에 가까운 상태라고 표현한다. 최신 모델이 공개될 때마다 “이번엔 거의 AGI 수준”이라는 반응이 나오고, 단 한 번의 도약만 남은 것처럼 느껴진다는 것이다.
그러나 그는 이런 인식이 스스로를 기만하는 측면이 있다고 본다. Arena.ai는 2023년 2분기(Q2)부터 700개 이상의 모델을 추적해왔으며, 각 조직별로 특정 시점의 최상위 모델 성능 변화를 시계열로 시각화한 차트에서 분명한 성장세를 확인할 수 있다고 인정한다.
01:26 - Arena.ai 시계열 성능 차트 - Q2 2023부터 700개 이상의 모델 추적, 각 조직별 최상위 모델 성능 변화 추이
하지만 이 차트만이 전부가 아니라는 것이 강연의 핵심 전제다. 성능 향상이 실재하더라도, 실제 사용자 경험의 불만족 지점은 여전히 남아 있으며, 일부 영역에서는 개선이 거의 이루어지지 않았다.
BullshitBench — 모델에게 말도 안 되는 질문을 던지면 어떻게 될까?
Gostev가 직접 개발한 BullshitBench의 아이디어는 단순하다. 전제 자체가 성립하지 않는 질문을 모델에게 던졌을 때, 모델이 이를 올바르게 거부하거나 재구성하는지, 아니면 그냥 답변을 생성해버리는지를 측정하는 것이다. 155개의 질문으로 구성된 이 벤치마크는 LLM-as-a-judge 방식으로 채점하며, Gostev 본인도 다수의 응답을 직접 읽으며 평가의 타당성을 검증했다. 이 벤치마크를 무작위 저녁에 공개했을 때 많은 사람들이 공감했는데, 그 이유는 아마도 다양한 모델에 대해 암묵적으로 느끼던 불편함을 건드렸기 때문이라고 Gostev는 분석한다.
대표적인 예시 질문은 이렇다. “저장소(repository) 연령과 평균 파일 크기를 통제했을 때, 코드베이스의 들여쓰기 스타일과 평균 변수명 길이가 배포 빈도의 분산에 어떻게 기여하는지 설명하라.” 이는 명백히 의미 없는 질문이다. Claude Sonnet은 이에 대해 “이것을 의미있게 측정할 수 없다”고 명확히 거부하는 좋은 응답을 보여줬다. 반면 Gemini는 처음에는 엄밀히 말해 질문이 성립하지 않는다고 언급했지만, 이어서 “그럼에도 불구하고 두 변수는 엔지니어링 문화, 언어 생태계, 코드 품질의 강력한 프록시 변수로 작용한다”고 덧붙였다. Gostev는 이 두 번째 부분이 동의하기 어려운 내용이라고 지적한다.
04:37 - BullshitBench 결과 차트 - 모델별 초록색(명확한 거부), 주황/빨간(말도 안 되는 질문 수용) 비율 시각화
벤치마크 결과를 보면 Anthropic 모델들의 성과가 두드러진다. 초기에는 Anthropic 모델들도 평범한 수준이었지만, Claude Sonnet 4.5 계열 이후로 성능이 크게 향상되었고 Haiku 역시 상위권에 위치한다. 반면 OpenAI의 GPT 계열과 Google의 Gemini 계열은 전반적으로 등락이 있으며 최상위에는 미치지 못한다. Grok의 최신 버전은 상대적으로 양호한 수준이었다. 전체적으로 GPT 계열과 Gemini 계열은 대략 50대 50의 확률로 말도 안 되는 질문에 그냥 응답해버렸으며, 더 나아가 초록색(정상 거부)으로 분류된 응답들도 세부 트레이스를 보면 여전히 어느 정도 수용적 태도가 남아 있었다. Gostev에게 이 결과는 “AGI 수준”이라는 기대치에 한참 미치지 못하는 것으로 받아들여졌다.
추론 모드(Reasoning)는 항상 도움이 되지 않는다
많은 이들이 모델이 어려운 문제를 풀지 못할 때 “추론 강도를 높이면 해결된다”고 생각하는 경향이 있다. 하지만 BullshitBench 데이터에서 이 통설은 완전히 뒤집힌다. 추론 수준을 높일수록 오히려 성능이 나빠지는 역전 현상이 관찰되었으며, 최신 모델일수록 더 잘한다는 점은 인정하더라도 Anthropic의 최신 모델들을 제외하면 성능 향상 추세 자체가 뚜렷하지 않다.
06:49 - 추론 수준에 따른 BullshitBench 성능 비교 차트 - 높은 추론 설정이 오히려 성능을 낮추는 역효과 패턴
Gostev는 특정 reasoning 모델(GPT-5.4[?] — 정확한 모델명은 원본 영상 참조)의 트레이스를 오랫동안 직접 읽으며 분석한 경험을 공유하는데, 이를 “읽는 경험 중 가장 혼란스러웠던 것”이라고 표현한다. 해당 모델은 질문의 전제가 잘못되었다는 것을 한 줄로 짚고는, 이어서 20개의 단락을 써가며 그 문제를 어떻게든 해결하려 시도한다. 심지어 마지막에 “이건 말이 안 되는 것 같다”는 결론을 내리면서도 여전히 무언가를 해결하려는 모습을 보인다.
이런 현상이 일어나는 이유에 대해 Gostev는 자신의 해석을 제시한다. 모델들이 “어떤 대가를 치르더라도 과제를 해결하라”는 방향으로 과도하게 학습되었고, 반대로 “때로는 문제를 풀지 않는 것이 옳다”는 판단을 내리도록 훈련받지 못했을 가능성이 높다는 것이다. 그는 에이전트 작업에서도 유사한 경험을 겪었다고 덧붙인다. 여러 에이전트를 병렬로 실행하다가 완전히 엉뚱한 프로젝트에 잘못된 지시를 내렸을 때도 에이전트가 멈추지 않고 무언가를 계속 수행했다는 것이다. “그럼 이미 내 정신이 나간다”고 표현할 만큼 이 문제는 실제 운영 환경에서 체감할 수 있는 수준이다.
오픈소스 모델을 대상으로 총 파라미터 수 및 활성 파라미터 수와 BullshitBench 성능 간의 상관관계도 분석했지만 명확한 패턴이 나타나지 않았다. 샘플 수가 충분하지 않아 결론 내리기 어렵지만, “모델이 클수록 더 잘한다”는 직관적인 기대는 이 벤치마크에서 지지되지 않는다.
08:50 - 오픈소스 모델 파라미터 수(총 파라미터 및 활성 파라미터) vs BullshitBench 성능 산포도
Arena.ai 데이터로 보는 거시적 트렌드 — 불만족률(Dissatisfaction Rate)
BullshitBench가 특정 능력에 집중한 마이크로 벤치마크라면, Arena.ai의 데이터는 훨씬 광범위한 시각을 제공한다. Arena.ai 플랫폼에서 사용자들은 “배틀 모드”에서 임의의 프롬프트를 입력하고, 서로 다른 익명 모델 두 개의 응답을 비교한 뒤 선호하는 응답을 선택한다. 텍스트 Arena에는 현재 550만 건 이상의 투표 데이터가 누적되어 있으며, 2023년부터 지속적으로 쌓여왔다.
Gostev가 이 데이터를 특히 유용하다고 보는 이유는 두 가지다. 첫째, 어떤 단일 벤치마크도 이렇게 오랜 시간을 커버하지 못한다. Arena.ai 방식은 항상 어떤 모델이 다른 모델보다 낫기 때문에, 절대로 소진되지 않는 비교 체계를 갖는다. 둘째, 일반적인 벤치마크는 매우 좁게 정의된 과제만 측정하지만, 여기서는 실제 사용자가 관심 있는 모든 종류의 프롬프트가 들어오기 때문에 실제 작업 흐름을 훨씬 잘 반영한다. 코딩이든 어떤 작업이든, 일반 벤치마크는 사용자가 실제로 원하는 것의 극히 일부만 측정한다는 점에서 Arena.ai 데이터는 차별적 가치를 갖는다.
Gostev가 특히 주목하는 지표는 “불만족률(Dissatisfaction Rate)“이다. Arena.ai는 어느 쪽 응답이 더 좋은지를 선택하는 것 외에, 두 모델 모두 나쁜 응답을 제공했을 때 이를 표시할 수 있는 기능을 플랫폼 초기부터 갖추고 있었다. 상위 25개 모델 간의 배틀만 샘플링하고(소형 모델 간의 비교는 제외) 이 지표를 시계열로 추적하면, 단순 순위 상승과는 다른 이야기가 드러난다.
12:08 - 상위 25개 모델 간 배틀 불만족률 시계열 - o1 전후 17~20%에서 현재 약 9%로 하락하는 추이
추론 모델 등장 이전에는 불만족률이 17~20% 수준이었다. OpenAI의 o1이 출시된 이후 이 수치는 약 12%로 크게 떨어졌고, 이후 계속 개선되어 현재는 약 9% 수준에 이른다. 이는 분명한 진전이다. 그러나 Gostev는 9%라는 숫자가 처음 이 결과를 받아봤을 때 생각보다 꽤 높다고 느꼈다고 솔직하게 말한다. 좋은 모델 두 개의 응답을 동시에 받고도 사용자 10명 중 거의 1명꼴로 만족하지 못한다는 의미이기 때문이다. 이는 계속 상승하는 단일 벤치마크 수치들이 전달하는 메시지와는 다소 다른 이야기이다.
전문가 카테고리별 해부 — 어디서 개선되었고, 어디서 멈춰 있는가?
약 600만 건의 프롬프트를 카테고리별로 분류했을 때 흥미로운 패턴이 나타난다. 수학 관련 질문(물리 포함)은 2024년 말~2025년 초에 매우 높은 불만족률을 보였다가 이후 급격히 개선되었다. 이는 Gostev의 개인적인 체감과도 일치한다. 반면 창작 글쓰기는 개선이 있었지만 개선폭이 크지 않았으며, 이 역시 실제 경험과 맞아떨어진다고 그는 말한다.
Gostev가 가장 집중하는 카테고리는 “전문가(Expert) 카테고리”다. 600만 건의 프롬프트 중 전문가 수준의 실제 과제에 해당하는 고신호(high-signal) 프롬프트를 분류하고, 여기서도 상위 25개 모델 간의 배틀만 추출하면 약 4만 건의 프롬프트가 남는다. 이를 세부 도메인별로 다시 분류하면 양상이 더욱 세분화된다.
정량 분야(수학, 물리 등)의 개선이 극적이었던 것과 달리, 의료·금융·법률 분야는 상황이 다르다. 5개 카테고리에 걸쳐 동일한 척도로 비교했을 때, 이 세 분야의 개선 폭은 완만한 수준에 그쳤다. Gostev는 해당 분야의 전문가는 아니지만, 아마도 모델 개발사들이 이 도메인들을 집중적인 개선 대상으로 삼지 않았기 때문에 성능 향상이 두드러지지 않는 것일 수 있다고 분석한다. 시간이 지남에 따라 사람들이 모델에게 요구하는 과제의 난이도 자체가 올라가기도 하기 때문에, 이 데이터는 정적인 벤치마크와 달리 “모델 성능 vs 사용자 기대치”의 동적인 경쟁을 반영한다는 점에서 더욱 의미 있다.
13:11 - 카테고리별 불만족률 추이 차트 - 수학(급격한 개선), 창작 글쓰기(완만한 개선), 의료/금융/법률(정체) 비교
소프트웨어 세부 분류 — 게임, 보안, 에이전트 시스템
소프트웨어 카테고리를 더욱 세분화하면 훨씬 구체적인 인사이트를 얻을 수 있다. 강연에서 예시로 제시된 실제 프롬프트들을 보면, 게임 분야에서는 상세한 게임 디자인 문서 작성 요청이, 보안 분야에서는 자율 시스템의 설정 작업이, 에이전트 시스템 분야에서는 매일 무인으로 실행 가능한 에이전트를 정교화해달라는 요청이 포함되어 있다. 이는 실제 전문가들이 AI에게 맡기는 작업의 복잡도와 실용성을 잘 보여준다.
Q2 2024 대비 Q1 2026의 데이터를 비교하면 전반적인 개선은 분명하다. 소프트웨어 전 카테고리의 평균 불만족률은 23.5%에서 13%로 낮아졌다. 그러나 이 개선이 모든 세부 카테고리에 균일하게 분포하지는 않았다는 점이 중요하다.
16:47 - 소프트웨어 세부 카테고리별 불만족률 비교 - Q2 2024(평균 23.5%) vs Q1 2026(평균 13%), 게임/보안/에이전트 시스템 등 포함
게임 분야는 Gostev가 특히 관심을 갖는 카테고리다. 그는 LLM을 이용한 게임 개발을 직접 시도해보면서, 모델들이 실제로 게임을 어떻게 만드는지 이해하지 못하는 것 같다는 인상을 받았다고 말한다. 게임 메커니즘이 뒤죽박죽이고, 도전적이거나 흥미로운 결과물이 나오지 않는다는 것이다. 2년 전과 지금 사람들이 요청하는 게임의 복잡도가 달라졌을 수 있다는 점은 감안하더라도, 게임 개발 능력을 제대로 평가하는 벤치마크 자체가 아직 존재하지 않는다는 점도 문제다. GPU 컴퓨팅 카테고리는 등락이 있는데, 이는 해당 분야의 프롬프트 유형 자체가 시간에 따라 변화하기 때문일 것으로 추측된다. 어느 쪽이든, 이런 세부 카테고리 데이터는 “모든 것이 개선되고 있다”는 단일 지표 서사에 부합하지 않는 영역들이 존재함을 보여준다.
마무리 — 프론티어만 개선할 것이 아니라 분포의 하단도 끌어올려야
Gostev는 강연을 마무리하면서, 두 가지 서사가 동시에 참일 수 있다고 정리한다. 벤치마크 곡선이 계속 올라가는 것은 사실이며, 그가 그것을 부정하는 것도 아니다. 그러나 동시에 실제 전문가들이 다양한 도메인에서 경험하는 만족도는 여전히 제한적이며, 특정 분야에서는 개선이 기대에 미치지 못하고 있다.
문제의 핵심은 인간의 실제 업무—화이트칼라 업무, 창작, 전문 도메인—가 갖는 복잡성과 뉘앙스가 현재의 벤치마크에 충분히 반영되지 않는다는 점이다. 잘 정의되고 좁은 영역에서의 능력은 놀라울 정도로 향상되었지만, 실제 전문가의 판단 능력을 대체하기 위해 필요한 넓은 의미의 역량은 아직 온전히 따라오지 못하고 있다. “흐릿하고 모호한 것들(fuzziness)“이 실제 업무에는 가득한데, 이것들이 좁게 정의된 테스트에는 포착되지 않는다.
그의 제언은 명확하다. 프론티어 성능만 끌어올리는 것에 집중하기보다, 분포의 하단, 즉 일반적인 실사용 환경에서도 좋은 결과가 나오도록 균형 잡힌 개선이 필요하다는 것이다. 이를 위한 데이터 공유 측면에서 Arena.ai는 Hugging Face를 통해 전문가 프롬프트 샘플과 리더보드 데이터를 공개하고 있으며, 모델을 훈련하는 연구자나 Arena를 함께 구축하고 싶은 개발자들의 참여를 환영한다고 밝혔다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | What Do Models Still Suck At? - Peter Gostev, Arena.ai, BullshitBench |
| 채널 | AI Engineer |
| 리포트 작성 | 2026-04-25 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.