Laya 진짜 추천합니다. Jev를 오픈소스로 쓰는법
원본 영상: Laya 진짜 추천합니다. Jev를 오픈소스로 쓰는법
채널: 코드팩토리
개요
코드팩토리는 제브(Jev)[?]를 대체할 수 있는 오픈소스 모델로 라야(Laya)[?]를 소개하고, 직접 학습시킨 뒤 한국어 고객 지원 문의를 분류하는 성능을 시험한다. 실험에는 평소 사용하던 M4 Pro 맥북을 사용했다.
핵심 결과는 업무에 맞는 데이터를 학습시켰을 때 분류 성능이 얼마나 달라졌는가다. 화자는 1,000건을 학습하는 데 48분이 걸렸고, 한국어 고객 지원 시험의 정답률이 32.8%에서 86.4%로 높아졌다고 설명한다. 이어 제브의 시험 결과와 학습량을 늘린 라야의 결과를 살펴보며, 직접 학습하고 로컬에서 실행하는 방식의 가능성을 이야기한다.
같은 단어보다 고객이 원하는 행동을 구분하기
고객 문의를 분류할 때는 어떤 단어가 등장했는지만으로 처리 경로를 정하기 어렵다. 배송 상황을 묻는 문의와 “배송이 늦으니까 취소해주세요”라는 요청은 모두 배송에 관한 말이지만, 고객이 원하는 행동은 다르다.
화자는 이 차이를 통해 문의의 의도에 맞게 경로를 정하는 라우팅을 설명한다. 배송 지연이 취소 요청의 이유라면, 분류에서도 취소라는 요구를 읽어야 한다는 것이다.
1,000건 학습 후 정답률 86.4%
화자가 미리 만든 한국어 고객 지원 시험에서 학습 전 라야의 정답률은 32.8%였다. 영상에서 제시한 학습 단계별 정답률은 68.8%, 83.2%로 높아졌고, 1,000건을 학습한 뒤에는 86.4%에 도달했다.
1,000건 학습에는 48분이 걸렸다. 화자는 특별한 GPU 환경 없이 평소 사용하는 맥북에서 이만큼 성능을 개선했다는 점을 강조한다.
학습에 따른 개선 폭이 계속 같았던 것은 아니다. 화자는 마지막 구간에서 정답률이 83.2%에서 86.4%로 조금 더 올랐다고 짚는다. 학습 효과는 뚜렷했지만, 추가 학습이 앞선 단계와 같은 폭의 향상으로 이어지지는 않았다.
제브는 250문항을 모두 맞혔다
제브에 대한 시험에서는 250문항 가운데 250문항을 모두 맞혔고, 정답률은 100%였다. 라야의 학습 효과와 함께, 제브가 해당 시험에서 보인 높은 정확도도 영상의 주요 비교 결과다.
1만 건 학습 후에는 600문항 중 598개 정답
화자는 라야의 학습량을 1만 건으로 늘린 결과도 제시한다. 이 단계의 600문항 검증에서는 598개를 맞혔다. 정답률로는 약 99.7%다.
제브의 100%는 250문항 시험의 결과이고, 이 라야의 결과는 600문항 검증에서 나온 수치다. 두 정답률을 동일한 시험의 결과처럼 직접 비교할 수는 없다. 여기서 확인할 수 있는 성과는 학습량을 늘린 라야가 해당 한국어 고객 문의 검증에서 높은 정답률을 얻었다는 점이다.
헷갈리는 문의를 함께 학습시키기
화자는 모델을 더 개선하는 방안으로, 비슷한 표현을 사용하지만 필요한 처리가 다른 문의를 함께 학습시키는 방법을 제시한다. 예를 들어 구매 전에 색상을 묻는 경우와 구매 후 다른 색상으로 교환해 달라는 경우를 나란히 다루는 것이다.
두 문의는 모두 색상에 관한 것이지만, 구매 단계와 요청하는 행동이 다르다. 이런 차이를 드러내는 사례를 학습에 반영하자는 설명이다.
응답 시간은 실행 조건과 함께 보기
영상은 정확도뿐 아니라 응답 시간도 비교한다. 이때 제브의 API 왕복 시간과 라야의 로컬 분류 시간은 측정 조건이 다르다. 화자는 이 비교를 두고 제브 모델 자체가 느리다는 뜻은 아니라고 명시한다.
화자는 라야를 로컬에서 호스팅할 수 있다는 점도 장점으로 소개하며, 무료로 사용할 수 있는 가능성을 언급한다. 직접 학습한 모델을 자신의 환경에서 실행할 수 있다는 점이 추천 이유로 이어진다.
업무에 맞는 라우터를 직접 만든다는 의미
영상에서 화자가 강조하는 것은 자신의 업무에 맞는 라우터를 직접 학습시킬 수 있다는 가능성이다. 일상적으로 사용하는 맥북에서 1,000건을 48분 동안 학습시켜 한국어 고객 지원 시험의 정답률을 32.8%에서 86.4%로 높였다는 경험이 그 근거다.
제브는 250문항 시험에서 모두 정답을 맞혔고, 1만 건을 학습한 라야는 별도의 600문항 검증에서 598개를 맞혔다. 이 결과들은 시험 범위를 구분해 읽어야 한다. 라야에 대한 추천의 중심은 높은 점수 자체와 더불어, 업무에서 중요한 의도 차이를 학습에 반영하고 로컬에서 실행할 수 있다는 데 있다.
출처
코드팩토리 — Laya 진짜 추천합니다. Jev를 오픈소스로 쓰는법
[?]는 원문 확인이 필요한 부분입니다.