Kimi K3+GPT-5.6 Sol, Hermes MoA로 쓰면 더 좋아질까?!
📺 원본 영상: Kimi K3+GPT-5.6 Sol, Hermes MoA로 쓰면 더 좋아질까?!
🎙️ 채널: 시민개발자 구씨
📅 정리 일자: 2026-08-01
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료, 차트, 코드, 슬라이드 등은 포함되지 않을 수 있습니다.
개요
이번 영상은 Moonshot AI가 공개한 오픈웨이트 모델 Kimi K3를 단독으로 평가하는 데서 출발하지만, 핵심은 모델 자체의 절대 성능보다 Hermes Agent의 Mixture of Agents(MOA) 구조가 실제 업무 품질을 끌어올릴 수 있는지에 있다. 강연자는 Kimi K3, DeepSeek v4 Pro, GPT-5.6 Sol을 단독 또는 조합 형태로 사용해 소규모 커피 브랜드의 재무·운영 의사결정 과제를 수행하게 하고, 그 결과를 비교했다.
영상의 결론은 단순하다. 반복적이고 형식 준수가 중요한 업무에서는 GPT-5.6 Sol이나 Claude 같은 상위 모델을 단독으로 쓰는 편이 낫지만, 복잡한 전략 판단처럼 여러 관점이 필요한 업무에서는 MOA가 단독 모델보다 더 나은 결과를 만들 수 있다는 것이다. 특히 Kimi K3는 단독 모델로는 제약 조건 준수에서 약점을 보였지만, GPT-5.6 Sol을 aggregator model로 둔 구조에서는 의미 있는 reference model 역할을 했다.
Kimi K3의 위치: 좋은 모델이지만 개인 PC에서 직접 쓰기는 어렵다
강연자는 먼저 Kimi K3를 Moonshot AI가 공개한 중국계 frontier model로 소개한다. 공식 벤치마크상 ChatGPT나 Claude와 비슷한 수준의 성능을 보였기 때문에 큰 관심을 받았고, 오픈웨이트로 공개되었다는 점도 주목할 만하다고 설명한다. 다만 오픈웨이트라는 말이 곧바로 개인이 쉽게 로컬에서 실행할 수 있다는 뜻은 아니다. 강연자에 따르면 모델 용량은 약 1.5TB 수준으로 알려져 있고, 공식 권장 구성도 GPU 가속기 64개 이상을 전제로 하기 때문에 일반 개인 PC에서 실사용하기는 현실적으로 어렵다.
이 때문에 실제 사용 경로는 크게 두 가지로 좁혀진다. 하나는 Kimi.com에서 직접 구독형으로 사용하는 방식이고, 다른 하나는 OpenRouter 같은 API 중개 서비스를 통해 호출하는 방식이다. 영상 촬영 시점 기준으로는 Kimi.com 구독 요청자가 많아 대기자 등록만 가능한 상태였기 때문에, 강연자는 Hermes Agent에 연동하기 쉬운 OpenRouter API 방식을 선택했다. 여기서 중요한 점은 Kimi K3가 오픈웨이트 모델이라 하더라도, 개인 사용자의 실전 워크플로에서는 여전히 API 비용과 호출 구조가 핵심 변수가 된다는 점이다.
MOA는 모델 라우팅이 아니라 다중 자문 구조다
영상에서 가장 중요한 개념 구분은 model routing과 Mixture of Agents(MOA)의 차이다. 모델 라우팅은 작업의 성격에 따라 가장 적합한 단일 모델을 골라 실행하는 방식이다. 예를 들어 코딩에는 코딩에 강한 모델을, 글쓰기에는 글쓰기 품질이 좋은 모델을 배정하는 식이다. 이 방식은 업무를 분류하고 해당 업무에 맞는 모델을 선택한다는 점에서 일종의 역할 배분에 가깝다.
반면 MOA는 여러 reference model에게 같은 문제에 대한 자문을 받은 뒤, aggregator model이 최종 판단과 도구 실행, 결과물 생성을 담당하는 구조다. 강연자는 이를 회사의 의사결정에 비유한다. 모델 라우팅이 실무자의 역량에 맞춰 일을 배분하는 방식이라면, MOA는 여러 사람의 의견을 들은 뒤 최종 의사결정권자가 결론을 내리는 방식에 가깝다. 따라서 MOA에서 가장 중요한 설계 원칙은 aggregator model에 가장 신뢰할 수 있는 frontier model을 두고, reference model에는 서로 다른 관점을 줄 수 있는 모델을 배치하는 것이다.
이 구조에서는 reference model이 반드시 최종 답변을 직접 생성하지 않는다. 오히려 reference model의 역할은 aggregator가 놓칠 수 있는 관점, 계산 방식, 리스크 신호, 대안 전략을 제공하는 데 있다. 최종 산출물의 품질은 reference model의 개별 능력만으로 결정되지 않고, aggregator가 그 자문을 얼마나 잘 선별하고 통합하는지에 따라 달라진다. 영상의 실험도 바로 이 지점을 검증한다.
Hermes Agent에서 OpenRouter와 MOA를 설정하는 흐름
강연자는 OpenRouter에서 API key를 발급하고 Hermes Agent에 등록하는 과정을 설명한다. OpenRouter에 로그인한 뒤 credit을 충전하고, API keys 메뉴에서 새 key를 생성한다. 이때 API는 사용량 기반 과금 구조이기 때문에 credit limit을 설정하는 것이 중요하다고 강조한다. 강연자는 처음 테스트할 때는 10달러 정도의 한도를 두는 방식을 추천한다.
03:49 - OpenRouter에서 credit을 충전하고 API key를 생성하는 설정 화면
Hermes Agent에서는 keys 설정에서 OpenRouter를 선택한 뒤 API key를 입력하면 기본 연동이 완료된다. 이후 models 메뉴에서 Mixture of Agents 설정으로 들어가 reference model과 aggregator model을 지정한다. 영상에서는 reference model로 Kimi K3, DeepSeek v4 Pro, Qwen 계열 모델 등을 선택할 수 있는 화면을 보여주고, aggregator model로는 GPT-5.6 Sol을 사용하는 예시를 든다. Claude API를 연동해 둔 사용자는 Claude Opus 계열 모델을 aggregator로 선택할 수도 있다고 설명한다.
05:16 - Hermes Agent의 Mixture of Agents 설정에서 reference model과 aggregator model을 선택하는 화면
MOA preset을 만들어두면 Hermes Agent 대시보드뿐 아니라 데스크톱 앱에서도 쉽게 선택할 수 있다. 강연자는 데스크톱 앱의 설정 메뉴에서도 Mixture of Agents 섹션이 나타나며, 미리 만들어둔 preset을 선택하거나 조합을 수정할 수 있다고 설명한다. 핵심은 작업을 실행할 때 별도의 복잡한 절차를 거치는 것이 아니라, 모델 선택 단계에서 MOA preset을 고르는 것만으로 다중 모델 자문 구조를 실행할 수 있다는 점이다.
테스트 과제: 매출은 늘지만 현금이 줄어드는 커피 브랜드
MOA의 효과를 검증하기 위해 강연자는 가상의 소규모 커피 브랜드 운영 과제를 준비했다. 이 브랜드는 월말 매출 그래프만 보면 성장하는 것처럼 보이지만, 실제 통장 잔고는 줄어드는 상황에 놓여 있다. 광고비가 증가하고 있고, 광고비와 고정비를 제외한 공헌이익도 떨어지고 있으며, 기말 현금은 약 900만 원 수준으로 두 달 연속 감소했다. 단순히 매출만 보고 성장 전략을 세우면 위험한 상황인 셈이다.
모델에게는 7월 한 달 동안의 실행 계획을 수립하라는 과제가 주어진다. 입력 자료는 총 11개 파일로 구성되며, 그중 7개는 CSV 형태의 raw data다. 강연자는 매출 summary, 광고 campaign data, 고객 관련 data, calendar data, cash schedule, inventory data 등을 제공했다고 설명한다. 여기에 제약 조건 문서, calculation guide, owner note, output template도 함께 제공해 모델이 단순 요약이 아니라 운영 의사결정에 가까운 분석을 하도록 설계했다.
07:31 - 커피 브랜드 분석 과제에 제공된 11개 파일과 CSV raw data 구성을 설명하는 화면
특히 이 테스트에는 의도적인 함정이 들어 있다. 재고를 단순히 품목 총량으로 세면 안 되고 유통기한 임박 재고를 고려해야 하며, 예약금도 현금 흐름 계산에 영향을 준다. 광고 성과 역시 raw data를 단순 합산하면 잘못된 판단이 나오도록 구성되었다. 다시 말해 이 과제는 “자료를 읽고 보기 좋은 보고서를 쓰는 능력”보다 “제약 조건과 계산 규칙을 지키면서 전략적으로 판단하는 능력”을 테스트하는 데 초점이 있다.
모델에게 요구한 산출물은 단순 요약이 아니라 정해진 구조를 갖춘 실행 보고서다. 강연자는 출력 템플릿에 맞춰 9개 섹션을 작성하게 했고, 각 섹션에서 필요한 계산, 판단 근거, 실행 계획이 빠지지 않도록 요구했다.
08:33 - 모델에게 요구한 산출물 구조와 9개 출력 섹션을 보여주는 화면
평가 설계: 정확도, 전략, 실행력, 형식의 네 축
강연자는 모델별 결과를 네 가지 기준으로 평가했다. 전체 100점 중 정확도는 50점으로 가장 큰 비중을 차지한다. 이는 현금, 재고, 광고, 고객 지표처럼 계산과 해석이 얽힌 과제에서 기본적인 수치 판단이 틀리면 아무리 그럴듯한 전략도 의미가 없기 때문이다. 추천 전략의 타당성은 20점으로, 실제 실행했을 때 사업에 도움이 될 수 있는지를 본다.
실행력은 17점으로 설정되었다. 여기서는 모델이 제안한 계획이 주어진 제약 안에서 실제로 성립하는지를 평가한다. 예를 들어 월초 현금 900만 원, 최소 현금 버퍼 150만 원, 최대 할인율 10%, 대표 주간 가용 시간 40시간, 포장 작업 주간 가용 시간 25시간 같은 조건을 무시하면 실행력이 낮아진다. 마지막으로 형식과 근거는 13점으로, 모델이 요구된 출력 형식을 따르고 판단 근거를 충분히 남겼는지를 본다.
10:24 - 정확도, 전략 타당성, 실행력, 형식과 근거로 구성된 scoring 기준을 설명하는 화면
평가는 강연자가 직접 주관적으로만 한 것이 아니라, Claude Opus 5에 별도로 결과물을 평가하게 하는 방식으로 진행되었다고 설명한다. 물론 이 역시 완전히 독립적인 인간 평가라고 볼 수는 없지만, 동일 기준으로 여러 산출물을 비교했다는 점에서는 실험의 일관성을 높이는 장치로 볼 수 있다. 이 평가 설계는 MOA가 단순히 더 길고 화려한 답변을 만드는지보다, 실제 업무 품질을 개선하는지에 초점을 맞추고 있다.
단독 모델 비교: Kimi K3, DeepSeek v4 Pro, GPT-5.6 Sol의 성격 차이
Kimi K3를 단독으로 사용했을 때의 장점은 남들이 잘 보지 않는 관점을 데이터에서 찾아내는 능력이라고 강연자는 설명한다. 예를 들어 7월 주문량이 6월 수준으로 유지될 경우 포장 시간이 물리적으로 감당하기 어려울 수 있다는 점을 파악하거나, 유통 채널 구조에 따라 margin이 어떻게 달라지는지를 이해하는 능력은 좋았다. 이는 Kimi K3가 전략적 해석이나 새로운 관점 제시에 강점을 가질 수 있음을 보여준다. 그러나 문제는 제약 조건 준수였다. 안전 여유를 남기지 않거나, 대표의 성향과 리스크 허용도를 충분히 반영하지 못하는 장면이 있었다고 한다.
DeepSeek v4 Pro는 단독 사용 시 Kimi K3보다 전반적으로 낮은 성능을 보였다고 평가된다. 특히 계산 정확도와 제약 조건 준수에서 약점이 컸고, 단독 평균 점수도 49점 수준으로 언급된다. 다만 완전히 무용한 모델은 아니었다. 재고 loss를 금액으로 환산해 분석에 활용하는 등 특정 관점에서는 유용한 기여를 했다. 이는 단독 모델로는 불안정하더라도 reference model로는 일부 강점을 살릴 수 있음을 암시한다.
GPT-5.6 Sol은 가장 안정적인 단독 모델로 평가된다. 규칙, hard gate, 제약 조건을 잘 지키며, 같은 과제를 두 번 실행했을 때 점수 편차도 약 4점 수준으로 낮았다. 반면 이 안정성은 때로 과잉 긴축이나 틀에 박힌 사고로 이어졌다. 강연자에 따르면 GPT-5.6 Sol은 높은 점수를 꾸준히 내지만, Kimi K3나 DeepSeek v4 Pro가 잡아낸 일부 비정형 관점은 놓치기도 했다. 즉 GPT-5.6 Sol은 신뢰할 만한 기준점이지만, 모든 분석 관점을 독점하는 완전한 모델은 아니었다.
MOA 결과: 낮은 단독 점수의 모델도 좋은 자문자가 될 수 있다
핵심 실험은 Kimi K3와 DeepSeek v4 Pro를 reference model로 두고, GPT-5.6 Sol을 aggregator model로 사용했을 때의 결과다. 강연자에 따르면 Kimi K3 하나만 reference model로 둔 조합도 GPT-5.6 Sol 단독보다 높은 점수를 기록했고, Kimi K3와 DeepSeek v4 Pro를 함께 reference model로 둔 조합은 평균 점수가 가장 높았다. 흥미로운 점은 DeepSeek v4 Pro가 단독으로는 낮은 점수를 받았음에도, MOA 안에서는 GPT-5.6 Sol의 결과를 개선하는 데 기여했다는 사실이다.
15:33 - GPT 단독 실행과 MOA 조합의 체크 항목 및 점수 비교 결과를 보여주는 화면
이 결과는 MOA의 본질을 잘 보여준다. reference model은 최종 산출물을 혼자 책임지는 모델이 아니기 때문에, 단독 성능이 낮다고 해서 무조건 쓸모없는 것은 아니다. 특정 모델이 계산 전반에는 약하더라도 재고 손실, 고객 cohort, 판매 데이터 누락 같은 특정 영역에서 좋은 신호를 제공할 수 있다면, aggregator가 이를 선별적으로 흡수해 전체 품질을 높일 수 있다. 강연자가 보여준 평가표에서도 GPT 단독 실행에서 비어 있던 체크 항목들이 Kimi K3나 DeepSeek의 자문을 통해 채워지는 사례가 있었다고 설명한다.
다만 MOA가 항상 순효과만 만드는 것은 아니다. 강연자는 reference model을 붙이면서 시야는 넓어졌지만, GPT-5.6 Sol이 단독이었다면 챙겼을 판매 상한이나 일부 제약 조건이 오히려 누락되는 경우도 있었다고 말한다. 이는 다중 자문 구조가 정보량을 늘리는 대신, aggregator가 판단해야 할 잡음도 함께 늘린다는 뜻이다. 따라서 MOA는 무조건 더 좋은 설정이라기보다, 복잡한 의사결정에서 관점의 다양성이 비용과 복잡도를 정당화할 때 의미가 커진다.
성능 개선의 핵심: 장점은 흡수하고 약점은 aggregator가 걸러낸다
이번 실험에서 MOA가 효과를 낸 이유는 reference model들의 강점과 약점이 서로 다른 방향에 있었기 때문이다. Kimi K3와 DeepSeek v4 Pro는 단독 실행 시 제약 조건을 충분히 지키지 못하는 문제가 있었지만, 데이터 해석의 관점에서는 GPT-5.6 Sol이 놓친 부분을 일부 찾아냈다. 반대로 GPT-5.6 Sol은 제약 조건과 형식 준수에는 강하지만, 전략적 다양성에서는 다소 보수적이었다. 이 조합에서 GPT-5.6 Sol을 aggregator로 두면, 상대적으로 신뢰도가 높은 모델이 최종 판단을 담당하면서 reference model의 관점을 선택적으로 받아들일 수 있다.
강연자가 언급한 구체적 기여도도 이 구조를 뒷받침한다. DeepSeek는 재고 손실을 금액으로 환산해 분석에 반영하는 데 기여했고, Kimi K3와 DeepSeek는 고객 cohort analysis를 더 완결성 있게 만드는 데 도움을 주었다. 또한 cold brew 항목이 판매 데이터 없음으로 처리되어야 한다는 함정을 파악한 것도 reference model들이 제공한 중요한 신호였다. GPT-5.6 Sol 단독으로는 놓쳤던 이러한 관점들이 MOA에서는 최종 답변에 반영되었다.
결국 MOA의 성능 개선은 모델들의 평균 성능을 단순히 합산해서 나온 결과가 아니다. 오히려 가장 강한 모델을 최종 의사결정자로 두고, 서로 다른 약점을 가진 모델들의 부분적 통찰을 자문 형태로 활용했기 때문에 가능했다. 이 구조는 실제 조직의 의사결정과도 닮아 있다. 모든 직원이 대표보다 뛰어날 필요는 없지만, 각자가 특정 리스크나 기회를 더 빨리 발견한다면 최종 의사결정의 품질은 올라갈 수 있다.
언제 MOA를 쓰고, 언제 단독 모델을 써야 하는가
강연자의 결론은 명확하다. 반복되는 저위험 업무이거나 형식 준수가 중요한 업무라면 굳이 MOA를 사용할 필요가 크지 않다. 이런 경우에는 GPT-5.6 Sol이나 Claude 같은 안정적인 frontier model을 단독으로 쓰는 편이 비용과 품질의 균형이 좋다. 특히 중국계 AI 모델들은 복잡한 조건이 많은 작업에서 GPT나 Claude만큼 제약 조건을 안정적으로 지키지는 못했다는 것이 강연자의 평가다.
반대로 전략적 의사결정처럼 다양한 관점이 필요한 업무에서는 MOA를 고려할 만하다. 회사의 대표가 혼자 결정하기보다 여러 실무자의 관점을 들은 뒤 결론을 내리는 것이 더 나은 상황이라면, Hermes Agent의 MOA 기능도 비슷한 방식으로 작동할 수 있다. 이때 Kimi K3는 reference model로서 꽤 유용한 선택지가 될 수 있다. 단독 모델로 쓰기에는 제약 조건 준수의 불안정성이 있지만, GPT-5.6 Sol 같은 강한 aggregator와 조합하면 시야를 넓히는 역할을 할 수 있기 때문이다.
비용은 별도의 판단 요소다. 강연자는 OpenRouter를 통해 여러 번 테스트한 결과, 총 26달러 사용분 중 약 22달러가 Kimi K3 비용이었다고 언급한다. 즉 Kimi K3는 저렴한 실험용 모델이라기보다, 고품질 결과물을 위해 비용을 감수하고 reference model로 붙이는 선택지에 가깝다. 토큰 사용량도 많은 편이라 비용 효율이 압도적으로 좋다고 보기는 어렵다. 따라서 MOA는 모든 업무의 기본값이 아니라, 중요한 분석이나 전략 수립에서 한 번 더 품질을 끌어올리고 싶을 때 사용하는 고비용 옵션으로 이해하는 편이 현실적이다.
19:56 - OpenRouter 사용 비용 중 Kimi K3 비용 비중을 설명하는 화면
참고할 만한 개념: MOA 설계에서 중요한 세 가지 판단
MOA를 실무에 적용할 때는 먼저 aggregator model의 신뢰도가 충분히 높아야 한다. reference model들이 서로 다른 의견을 내더라도 최종 결과물을 만들고 제약 조건을 검증하는 주체는 aggregator이기 때문이다. 이 역할에 약한 모델을 두면 자문이 늘어날수록 오히려 산출물이 흔들릴 수 있다. 영상에서 GPT-5.6 Sol이나 Claude Opus 계열을 aggregator로 추천한 것도 같은 맥락이다.
두 번째로 reference model은 “가장 점수가 높은 모델”만 고르는 방식이 아닐 수 있다. 단독 성능이 낮더라도 특정 유형의 관점, 예컨대 비용 구조, 재고 리스크, 고객 지표, 대안 전략 탐색에서 강점을 보인다면 reference model로서 가치가 있다. 이번 실험에서 DeepSeek v4 Pro가 단독 평균 점수는 낮았지만 MOA 안에서는 재고 손실 환산과 cohort analysis 보완에 기여한 사례가 이에 해당한다.
세 번째로 MOA 결과물은 반드시 검토되어야 한다. 여러 모델의 자문을 받는다고 해서 자동으로 더 정확해지는 것은 아니며, 때로는 aggregator가 원래 잘 챙기던 제약 조건을 놓치는 현상도 발생한다. 따라서 MOA를 사용할 때는 비용 한도, reference model 수, 평가 기준, 최종 검수 절차를 함께 설계해야 한다. 특히 현금 흐름, 운영 리스크, 투자 판단처럼 실제 손실로 이어질 수 있는 업무에서는 “더 많은 모델을 썼다”는 사실보다 “최종 판단이 검증 가능한가”가 더 중요하다.
마무리 / 핵심 정리
이번 영상은 Kimi K3가 ChatGPT나 Claude를 대체할 수 있는지를 단순 비교하는 콘텐츠라기보다, 여러 LLM을 협업 구조로 묶었을 때 어떤 실질적 이점과 한계가 생기는지를 보여주는 실험에 가깝다. Kimi K3는 단독 사용 시 frontend 작업이나 아이디어성 작업에서는 괜찮은 품질을 보였지만, 복잡한 데이터 분석과 제약 조건이 얽힌 업무에서는 불안정한 모습을 보였다. DeepSeek v4 Pro 역시 단독 성능은 낮았지만, 특정 분석 관점에서는 기여할 수 있었다.
가장 실용적인 결론은 GPT-5.6 Sol 같은 강한 모델을 aggregator로 두고, Kimi K3나 DeepSeek v4 Pro를 reference model로 붙였을 때 전략적 분석 품질이 개선될 수 있다는 점이다. 다만 정확도 자체가 크게 향상되었다기보다는, 모델이 보는 관점이 넓어지고 전략 점수가 올라간 쪽에 가깝다. 따라서 MOA는 반복 업무의 기본 설정이라기보다, 중요한 의사결정에서 여러 관점을 검토하고 싶은 경우에 적합하다.
비용 측면에서는 주의가 필요하다. Kimi K3는 오픈웨이트라는 인상과 달리 API로 사용할 때 저렴한 모델은 아니며, 토큰 사용량까지 고려하면 GPT나 Claude와 비교해 압도적인 비용 우위가 있다고 보기 어렵다. 결국 Hermes Agent의 MOA는 “싸게 여러 모델을 돌리는 기능”이라기보다, “비용을 더 들여서라도 최종 판단의 관점을 확장하는 기능”으로 이해하는 편이 정확하다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | Kimi K3+GPT-5.6 Sol, Hermes MoA로 쓰면 더 좋아질까?! |
| 채널 | 시민개발자 구씨 |
| 영상 길이 | 약 20분 38초 |
| 리포트 작성 | 2026-08-01 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.