Is Meta’s Muse Wonder model any good?
원본 영상: Is Meta’s Muse Wonder model any good?
채널: How I AI
개요
Meta의 Muse Wonder는 실제 업무에 투입할 만큼 좋은 모델일까? How I AI의 진행자 Claire Vo는 고객의 청구 문제 해결, 이메일 작성, 제품 요구사항 문서 작성, 웹사이트 제작, 영상 편집 등 여러 과제로 이 질문을 살펴본다.
Claire의 평가는 업무에 따라 갈린다. 복잡한 일을 끝까지 수행하는 에이전트 과제와 짧고 자연스러운 커뮤니케이션에서는 좋은 인상을 받았다. 백엔드 구현과 코드 검토에서도 활용 가능성을 봤다. 반면 프런트엔드 디자인, 상세한 문서 작성, 시각적 창작물의 완성도에는 아쉬움을 드러냈다.
이번 리뷰는 자체 평가 과제에 새 모델을 투입해 얻은 초기 평가다. Claire도 코딩 시험의 범위가 제한적이며 추가로 살펴볼 필요가 있다고 말한다. 영상의 관심사는 Muse Wonder를 어떤 업무에 맡겼을 때 강점이 드러나는가에 있다.
Meta가 내세운 기능과 평가 방식
Claire는 Muse Wonder를 Wonder와 Wonderful 두 버전으로 소개한다. Meta가 전문 지식 업무와 코딩, 개인용 에이전트 활용을 강조한다고 설명하며, 자신의 에이전트 코딩 작업을 이 모델로 옮길 이유가 있는지 확인하려 한다.
영상에서 소개하는 주요 기능은 전문 영역의 지식을 업무에 적용하는 능력, 대화가 바뀌어도 중요한 맥락을 이어 가는 ‘액티브 메모리’, 어려운 목표를 향해 여러 방법을 시도하며 작업을 지속하는 ‘액티브 포커스’다. Claire는 일부 장시간 과제에서 얻은 좋은 결과를 액티브 포커스에 대한 투자와 연결해 해석한다.
평가를 위해 Claire는 Muse 구독과 Meta 모델 API 접근 권한을 확보하고 Muse Code를 설치했다. 이후 평소 사용하던 Claude Code에서 Muse Code를 실행하도록 구성했다. 이 준비 과정은 번거로웠고 Muse Code의 첫인상도 좋지 않았지만, 직접 사용한 경험은 제한적이었다고 덧붙인다.
자체 평가인 ‘How I AI 벤치’에는 PRD 작성, 프로토타입과 와이어프레임 제작, 웹사이트 개편, 컴퓨터 사용, 조사, 코드 수정, 이메일 작성, 창작 작업 등이 포함된다. LLM 평가자의 채점과 Claire의 직접 검토를 함께 활용하며, 자신의 의견을 음성 메모로 남기고 Claude로 정리한다. 특히 디자인에서는 LLM 평가자보다 자신이 훨씬 엄격하게 평가했다고 설명한다.
강점: 복잡한 청구 문의를 끝까지 해결하는 에이전트
Claire가 가장 높게 평가한 영역은 에이전트 업무다. 받은편지함 분류, 이메일 일괄 처리, 컴퓨터 사용, 조사 등에서 좋은 인상을 받았으며, 대표적인 사례로 관리용 애플리케이션의 청구 문의 처리를 소개한다.
이 과제에는 여러 문제가 얽혀 있다. 문의가 잘못된 계정에 연결되어 있어 실제 고객을 찾아야 하고, 환불 금액과 중복 청구도 확인해야 한다. 지시에는 프롬프트 인젝션 요소까지 포함되어 있다. 정보를 확인하는 데서 그치지 않고 계정과 청구 문제를 바로잡은 뒤 고객 응대까지 마쳐야 한다.
Claire의 설명에 따르면 Muse Wonder는 올바른 고객 계정으로 연결을 수정하고, 중복 청구를 환불했으며, 요금제를 변경했다. 이어 고객에게 답장을 보내고 문의를 해결 상태로 표시했다. 그는 비교 대상 가운데 이 과제를 가장 잘 수행했으며, 의도적으로 넣은 함정도 잘 처리했다고 평가한다.
Claire가 높이 산 것은 필요한 조치를 차례로 실행해 업무를 마무리한 능력이다. 복잡한 SaaS 애플리케이션 안에서 고객 문제를 해결하게 하는 과제가 에이전트의 실력을 살펴보는 데 유용하다고 본다.
짧은 이메일과 자연스러운 비서의 말투
Muse Wonder는 짧은 업무 커뮤니케이션에서도 좋은 평가를 받았다. Claire는 평소 이메일을 간단히 쓰는 편이며, 모델이 자신의 스타일과 지시를 잘 따랐다고 말한다. 이 정도라면 자신을 대신해 이메일을 작성하도록 맡길 수 있겠다는 반응이다.
비서의 대화 말투도 마음에 들었다. Claire가 중요하게 보는 기준은 에이전트와 계속 대화하고 싶은가 하는 점이다. Muse Wonder의 표현에 AI가 쓴 글 같은 흔적이 조금 남아 있지만, 거슬리거나 지나치게 친근함을 강요하지는 않았다고 설명한다. 직설적이면서도 사람을 대하는 느낌이 있다는 평가다.
그는 이 대화 스타일을 Sonnet에 가까운 수준으로 본다. 업무를 수행하는 능력에 더해 사용자와 주고받는 표현도 편안하다는 점에서, 개인용 에이전트나 지식 업무 에이전트의 중심 모델로 검토할 만하다고 말한다.
코딩과 문서 작성에서 드러난 차이
백엔드 구현에는 가능성
Claire는 Muse Wonder의 코딩 성능이 주요 모델들과 경쟁할 만하며, 백엔드 구현과 아키텍처 검토에 사용할 수 있는 수준이라고 평가한다. 백엔드 기능 구현 과제에서는 특히 좋은 결과를 얻었다고 소개한다.
다만 코딩 시험의 범위는 좁았고, 비교한 모델들도 전반적으로 잘했다고 덧붙인다. 백엔드 작업은 더 시험해 볼 생각이다. 이번 결과에서 확인한 가능성이 프런트엔드의 완성도까지 이어지지는 않았다.
PRD에는 부족한 세부 내용
이메일과 달리 제품 요구사항 문서인 PRD에는 아쉬움을 드러냈다. 결과물이 간결하고 요청한 템플릿을 따랐다는 점은 좋았지만, 형식상 훑어보기 어려운 부분이 있었고 다른 모델의 문서보다 세부 내용이 부족했다고 말한다.
Claire는 간결한 문서를 선호한다. 그러나 업무에 필요한 정보까지 줄어들면 좋은 PRD가 되기 어렵다고 본다. Muse Wonder는 짧은 답장을 자연스럽게 쓰는 데는 강했지만, 상세한 제품 문서를 충분히 채우는 데서는 기대에 못 미쳤다.
프런트엔드: 작동과 마무리에서 드러난 문제
Claire가 가장 큰 불만을 보인 영역은 디자인이다. 색상이나 글꼴뿐 아니라 실제 기능의 작동 여부, 명시한 지시의 준수, 브랜드 반영까지 함께 문제 삼는다.
편집 업무를 배정하는 프로토타입에서는 여러 요소를 눌러도 반응이 없어 애플리케이션의 목적을 파악하기 어려웠다고 말한다. 그는 프로토타입을 평가할 때 실제로 얼마나 많은 기능이 작동하는지 중요하게 본다고 설명한다.
일정 관리와 사고 대응 인터페이스에서도 마무리가 부족했다. 일정 관리 앱은 처음에는 색상 활용 등이 괜찮아 보였지만, 클릭하며 살펴보자 세부적인 문제가 드러났다. Claire는 대체로 상당 부분을 맞춘 뒤 마지막 단계에서 무너지는 느낌이라고 표현한다.
사고 관리 도구에서는 개발자용이라는 맥락에 맞춰 다크 모드를 명시적으로 요청했는데도 라이트 모드로 제작했다. 화면을 덮는 요소도 마음에 들지 않았으며, 최근 다른 모델에서 경험한 것보다 프런트엔드 오류가 더 많이 보였다고 평가한다.
시각적 스타일의 반복도 지적한다. Claire의 묘사에 따르면 굵은 세리프 글꼴, 둥근 모서리, 상투적인 SaaS 템플릿 구성이 여러 결과물에 나타났다. B2B 갱신 관리 앱과 식물 관리 앱처럼 목적이 다른 작업에서도 비슷한 디자인을 느꼈다고 한다.
가장 실망한 사례는 ChatPRD 웹사이트 개편이었다. Claire는 이미지가 깨졌고, 모델이 접근할 수 있었던 브랜드 가이드라인도 반영되지 않았다고 설명한다. 이모지 사용을 포함한 표현 방식 역시 기대와 맞지 않았다.
이런 결과를 바탕으로 Claire는 프런트엔드 웹 디자인에서 Muse Wonder를 먼저 선택하지 않겠다고 말한다.
창작 과제: 부분적인 강점과 아쉬운 완성도
SVG 일러스트레이션
Claire는 SVG로 만든 작은 문서, 마이크, 벌레 등의 그림이 귀엽고 충분히 괜찮다고 평가한다. 코드로 이런 이미지를 만들 수 있다는 점 자체는 인상적이지만, 다른 모델들의 결과가 더 좋아 비교에서는 낮은 평가를 받았다고 설명한다.
그는 점수들이 높은 구간에 모여 있었다는 점도 덧붙인다. 상대적인 순위가 낮더라도 결과물 자체가 형편없다는 뜻은 아니다. 다만 이 용도에서 가장 먼저 고를 모델은 아니라는 판단이다.
짧은 영상 편집
영상 편집에서는 사용할 구간을 잘 찾았고, 컷을 나누는 타이밍도 거의 정확했다고 평가한다. 평소 자신이 쓰던 방식과 다른 화면 배치에서는 참고할 만한 아이디어도 발견했다.
문제는 최종 표현이었다. 자막이 얼굴 위에 놓였고, 상단 요소와 오버레이 디자인이 마음에 들지 않았으며, 오디오도 이상하게 처리됐다고 말한다. 적절한 구간을 선택하고 편집 타이밍을 맞추는 능력은 인정했지만, 완성된 영상에는 만족하지 못했다.
속도: 짧은 작업과 여러 단계의 작업
Claire는 Muse Wonder를 빠르고 경쾌한 모델로 느꼈다고 말한다. 한 번의 요청으로 결과를 내는 작업이나 그림·프로토타입 생성에서 속도가 인상적이었다. 이런 특성은 사용자와 짧게 대화를 주고받는 에이전트 경험에도 도움이 될 것이라고 본다.
반면 영상 편집, 받은편지함 분류, 백엔드 기능 구현처럼 여러 단계를 거치는 작업에는 시간이 꽤 걸렸다. Claire는 이를 작업을 지속하는 기능과 관련이 있을 가능성으로 설명하며, 속도 추적은 이제 시작한 단계라고 덧붙인다.
Claire의 다음 선택
Claire는 Muse Wonder를 자신이 만드는 일부 에이전트에 연결해 볼 계획이다. 청구 문의를 해결한 실행력과 자연스러운 대화 스타일이 실제 사용에서도 만족스러운지 확인하려 한다.
창의적인 프런트엔드 디자인에는 기존에 선호하던 모델을 계속 사용할 생각이다. 추가 지시나 스킬로 Muse Wonder의 창작 성능을 개선할 가능성은 열어 둔다.
Claire는 Meta가 경쟁에 참여할 만한 모델을 내놓았다고 평가한다. 이번 시험에서 가장 좋은 인상을 남긴 부분은 업무를 이어 가며 마무리하는 능력과 사용자에게 자연스럽게 응답하는 능력이었다. 프런트엔드와 창작물의 마무리는 기대에 못 미쳤다. 그의 다음 단계는 강점이 드러난 에이전트 업무에 모델을 투입해 더 시험하는 것이다.
출처
How I AI — Is Meta’s Muse Wonder model any good?