매번 가장 효율적인 LLM을 선택하는법
원본 영상: 매번 가장 효율적인 LLM을 선택하는법
채널: 코드팩토리
요청마다 어떤 모델을 선택할 것인가
여러 LLM을 번갈아 사용하다 보면 질문에 답하는 능력뿐 아니라, 어떤 작업을 어느 모델에 맡길지도 중요해진다. 화자는 요청을 분류하고 적절한 모델을 선택하는 라우팅을 소개하며, 고객 상담 사례를 통해 처리 방식에 따른 결과를 비교한다.
영상에서 소개하는 서비스는 여러 회사의 AI 모델을 한곳에서 사용할 수 있도록 한다. 시연에서는 상담 서비스에 RouteLLM API 정보와 비교할 모델을 등록하고, 모델을 고정하는 방식과 직접 만든 규칙으로 선택하는 방식, 자동 라우팅에 맡기는 방식을 살펴본다.
묶음 상품을 일부 취소하면 환불액은 얼마일까
상담 시연에서 제시된 예상 환불액은 26,000원이다. 화자는 묶음 할인으로 구매한 상품 중 키캡을 취소할 때, 남는 키보드에 적용됐던 할인까지 고려해 이 금액을 설명한다.
처음 결제한 금액은 묶음 할인 14,000원을 적용한 126,000원이었다. 화자의 설명에 따르면 키캡의 실제 결제액은 36,000원이며, 취소 시 키보드에 적용됐던 할인 10,000원을 회수해야 한다.
키캡 결제액 36,000원 − 키보드 할인 회수액 10,000원 = 환불액 26,000원
다른 방식으로 계산해도 결과는 같다. 최초 결제액 126,000원에서 남는 키보드의 정가 100,000원을 빼면 26,000원이다. 이 사례에서는 취소할 상품의 결제액뿐 아니라, 취소 후 남는 상품의 할인 조건까지 함께 반영해야 한다.
선택된 모델과 선택 이유는 별개의 정보다
화자는 자동 라우팅으로 어떤 모델이 선택됐는지는 확인할 수 있지만, 왜 그 모델이 선택됐는지는 알 수 없다는 점을 아쉬움으로 짚는다. 선택 결과를 관찰하는 것과 라우터의 판단 근거를 이해하는 것은 구분해야 한다는 설명이다.
가상 문의 12개로 비교한 결과
화자는 모델을 고정하는 방식, 직접 만든 커스텀 규칙, 자동 라우팅의 크레딧 사용량과 정답 여부를 비교한다.
고정 모델은 411크레딧을 사용했다. 화자는 자동 라우팅의 사용량이 고정 모델보다 약 83%, 자신이 만든 규칙보다 약 80% 적었다고 설명한다. 이 수치는 영상에서 진행한 가상 문의 비교의 결과다.
정답 여부를 보면 커스텀 라우팅과 자동 라우팅은 모두 12개 문의에 정답을 냈다. 이번 비교에서는 두 방식이 같은 정답 수를 기록하면서도 크레딧 사용량에는 차이가 있었다.
환불 계산을 모두 고급 모델에 맡겨야 할까
화자는 커스텀 규칙을 만들 때 “환불 계산은 일단 고급 모델로 보낸다”는 기준을 넓게 잡았다고 설명한다. 비용 차이를 돌아보며, 자신이 고급 모델에 배정한 요청의 범위가 적절했는지를 짚는 것이다.
이 비교에서 화자가 주목하는 지점은 어떤 모델이 가장 좋은지에만 있지 않다. 업무에 필요한 답변 수준을 유지하면서 어떤 요청까지 더 가벼운 모델에 맡길 수 있는지가 모델 선택의 중요한 기준이 된다.
대화 중 같은 모델을 유지하는 스티키 설정
영상 후반에는 스티키 설정을 소개한다. 화자는 이를 대화에서 처음 답변한 AI 모델이 이후에도 계속 답변하도록 유지하는 기능이라고 설명한다.
자신의 반복 업무에서 확인하기
화자는 평소 반복해서 처리하는 업무에 RouteLLM을 적용해 보고, 어떤 결과가 나오는지 직접 판단해 보라고 권한다.
영상의 고객 상담 비교는 그 출발점이다. 커스텀 라우팅과 자동 라우팅 모두 12개 문의에 정답을 냈지만 사용량은 달랐다. 모델의 이름이나 등급만으로 선택하기보다, 자신의 업무에서 나온 답변과 사용량을 함께 살펴보는 것이 이 시연이 제안하는 접근이다.