Jev 진짜 200배 빠르고 400배 저렴한지 테스트 해봤습니다.
📺 원본 영상: Jev 진짜 200배 빠르고 400배 저렴한지 테스트 해봤습니다.
🎙️ 채널: 코드팩토리
📅 정리 일자: 2026-09-22
⚠️ Note: 본 리포트는 STT 기반으로 작성된 제공 문서를 검수했다. 원본 영상은 접근 오류로 음성·화면을 재확인하지 못했다. 제품명 Jev와 비교 모델명 Tera는 제공 문서의 표기를 유지했으며, 정확한 모델 식별자와 API 타입 표기는 원본 확인이 필요하다. 수치의 계산은 확인했으나 발언과의 일치 여부는 미검증이다. 제공된 스크린샷 목록에는 로컬 경로만 있고 webUrl이 없어 이미지를 삽입하지 않았다.
개요
코드팩토리는 자유로운 문장 생성 대신 분류와 점수화에 집중하는 Jev를 한국어 고객 문의, 유튜브 댓글, 광고 문의 메일 처리에 적용하고, 영상에서 Tera라고 부르는 생성형 모델과 비교했다. 발표자가 보고한 분류 실험에서는 약 6~8배의 속도 차이가 나타났고, 고객 문의 처리 비용은 약 76배 차이가 났지만, 이는 제목의 200배·400배를 그대로 재현한 결과는 아니다. 이 영상의 핵심은 최대 성능 수치 자체보다, 판단과 생성을 분리하면 실제 AI 작업 흐름의 시간과 비용을 얼마나 줄일 수 있는가에 있다.
문장을 생성하는 일과 선택지를 판단하는 일은 다르다
발표자는 댓글 1,000개 가운데 답변이 필요한 질문만 골라내는 상황으로 Jev의 역할을 설명한다. 일반적인 대규모 언어 모델(LLM)에 이 작업을 맡기면 모델은 입력을 읽고 판단 결과를 토큰 단위로 생성한다. 그러나 실제 서비스가 원하는 결과는 긴 설명이 아니라, 답변 필요 여부나 문의 유형처럼 제한된 정보일 수 있다. Jev는 이처럼 출력의 범위가 정해진 판단 작업을 대상으로 소개된다.
이 구분에서 중요한 것은 Jev가 대화형 모델을 그대로 대체하는 제품으로 설명되지 않는다는 점이다. 발표자에 따르면 Jev는 댓글에 달 답변이나 코드를 자유롭게 작성하지 못하며, 대신 선택지를 고르고 점수를 매기거나 특정 조건이 참일 가능성을 반환한다. 영상에서는 이러한 접근을 시스템 1(System 1) 모델이라고 부르면서, 순차적으로 문장을 생성하는 부담을 줄이고 여러 판단을 병렬로 처리하는 데 초점을 맞춘다고 설명한다. 다만 음성에는 내부 모델 구조나 학습 방식이 제시되지 않으므로, 이 설명만으로 구체적인 구현 원리까지 확정할 수는 없다.
따라서 영상의 실용적인 질문은 “어떤 모델이 모든 면에서 더 뛰어난가”가 아니다. 댓글을 선별하는 일과 선별된 댓글에 답변을 쓰는 일은 요구하는 출력이 다르므로, 각 단계에 적합한 모델을 배치했을 때 어떤 변화가 생기는지가 비교의 중심이다. 발표자는 대량의 입력에서 다음 작업으로 넘길 대상을 고르는 라우팅(Routing)에 Jev가 적합하다고 평가한다. 이 관점으로 보면 속도와 비용 실험도 범용 지능의 우열보다 특정 작업에 대한 적합성을 보여주는 사례로 읽어야 한다.
세 가지 판단 방식과 질문 설계의 중요성
제공 문서에서는 Jev에 질문하는 방식을 Null[?], Choice, Score의 세 가지로 설명한다. 여기서 Null은 STT 오인식 가능성이 있는 미확인 표기이며, 문서에 정리된 설명상으로는 특정 조건이 참일 가능성을 0~1 사이의 값으로 반환하는 방식이다. 예를 들어 “이 댓글에 채널 운영자의 답변이 필요한가”를 묻고, 반환값이 정해진 임계값을 넘는 댓글만 후보로 모을 수 있다. 이 값이 높다는 것은 모델이 해당 조건을 더 강하게 긍정한다는 의미로 소개되지만, 영상만으로 그 값과 실제 정답률의 대응 관계까지 확인할 수는 없다.
Choice는 미리 제공한 선택지 가운데 해당하는 항목을 고르는 방식이다. 발표자는 설치 오류에 대한 질문과 macOS 설치 영상 요청이 함께 담긴 댓글을 예로 들어, 주된 의도 하나만 선택하면 다른 의도가 빠질 수 있다고 설명한다. 이를 보완하려면 대표 유형을 Choice로 고르는 동시에, 다음 영상에 대한 구체적인 요청이 있는지를 별도의 질문으로 판별하면 된다. 하나의 분류 항목에 모든 의미를 압축하기보다, 필요한 판단을 여러 질문으로 나누는 설계가 중요해지는 것이다.
Score는 명시한 기준에 따라 점수를 부여하는 방식이다. 발표자는 답변 우선순위를 0~3점으로 정하고, 점수마다 어떤 댓글을 배치할지 설명한다. 단순히 “중요한 댓글을 골라 달라”고 요청하는 것보다 점수의 의미를 구체화하면, 결과를 정렬하고 후속 작업으로 연결하는 기준이 분명해진다. 영상에서 제시한 예시 기준은 다음과 같다.
03:58 - 답변 우선순위를 0~3점으로 나누는 Score 기준 설명 구간
| 점수 | 영상에서 설명한 답변 우선순위 기준 |
|---|---|
| 0 | 답변이 필요 없는 댓글 |
| 1 | 일반적인 의견이나 요청 |
| 2 | 구체적인 질문 |
| 3 | 실행이 막혀 도움이 필요한 질문 |
이 기준을 적용하면 답변 필요 여부, 댓글 유형, 우선순위를 같은 입력에 대해 각각 판단할 수 있다. 다만 발표자는 한 요청에 함께 넣은 질문들이 서로 독립적이라는 점을 강조한다. Choice가 선택한 결과를 먼저 확인한 뒤 그 결과에 따라 Score를 계산하는 순차적 처리가 자동으로 이루어지는 것은 아니다. 앞선 판단 결과를 다음 판단의 입력으로 사용해야 한다면, 별도의 단계로 나눈 파이프라인(Pipeline)이 필요하다는 설명이다.
04:36 - 한 요청에 포함된 여러 판단의 독립성과 순차 파이프라인의 차이를 설명하는 구간
11:58 - 두 방식이 서로 다르게 선택한 답변 대상 댓글의 사례를 설명하는 구간
💡 [영상 참조] 세 가지 판단 방식의 예시와 요청 구성은 원본 영상 04:20 부근을 참고할 수 있다. 실제 API 필드명과 코드는 제공된 음성만으로 확인할 수 없어 재구성하지 않았다.
한국어 고객 문의 100건에서 나타난 속도와 비용 차이
첫 번째 실험은 한국어 고객 문의 100건을 분류하는 작업이다. 발표자는 사용법을 묻는 일반 문의와 계정에서 파일이 삭제되고 있다는 긴급 문의를 구분해야 하는 상황을 설정했다. 각 문의에 대해 Choice로 유형을 분류하고, Score로 긴급도를 매기며, 별도의 참·거짓 판단으로 급히 확인해야 하는지를 평가하도록 구성했다. 한국어를 선택한 이유유는 영어에서 성능이 더 좋다는 의견을 접했기 때문이라고 설명하지만, 영상에는 언어별 성능을 직접 비교한 결과가 나오지는 않는다.
비교 경로는 Jev 공식 경로 직접 호출, Vercel AI Gateway를 통한 Jev 호출, 같은 게이트웨이를 통한 Tera 호출의 세 가지였다. 발표자는 모든 경로에 같은 지시문을 주고 동시 처리 개수도 통일했다고 설명한다. 또한 Tera가 Jev와 같은 형태로 응답하도록 구성해 출력 형식의 차이를 줄였다. 다만 구체적인 동시 요청 수, 반복 측정 횟수, 입력 길이 분포 등은 음성에 제시되지 않는다.
| 한국어 고객 문의 100건 처리 경로 | 전체 처리 시간 | 음성에서 제시한 비용 |
|---|---|---|
| Jev 직접 호출 | 2.1초 | Jev 비용 약 0.0037달러 |
| Vercel AI Gateway를 통한 Jev 호출 | 3.7초 | 경로별 별도 비용 미제시 |
| Vercel AI Gateway를 통한 Tera 호출 | 17.4초 | 약 0.28달러 |
발표자가 제시한 수치로 계산하면 Tera의 처리 시간은 Jev 직접 호출의 약 8.3배다. 비용은 약 75.7배 차이로, 발표자가 설명한 약 76배와 일치한다. 이 비용은 발표자가 공식 단가를 적용해 계산했다고 밝힌 값이며, 음성에는 과금 내역이나 세부 토큰 사용량이 제공되지 않는다. 따라서 해당 실험 조건에서 산출된 비용으로 이해해야 하며, 다른 입력이나 서비스에서도 같은 비율이 유지된다고 일반화할 수는 없다.
07:31 - 고객 문의 100건 실험의 처리 시간 비교에 이어 Jev와 Tera의 비용을 설명하는 구간
호출 경로의 차이도 결과를 해석할 때 중요하다. Jev는 직접 호출에서 2.1초, Vercel AI Gateway를 경유했을 때 3.7초가 걸렸으며, 발표자는 중간 경로를 거친 영향으로 설명한다. 같은 게이트웨이 경로끼리 비교하면 Tera와 Jev의 시간 차이는 약 4.7배다. 따라서 영상에서 강조한 약 8배는 Jev 직접 호출과 게이트웨이를 통한 Tera 호출을 비교한 전체 처리 시간의 비율이라는 조건을 함께 기억해야 한다.
판단이 같다는 결과와 정답이라는 결론 사이
고객 문의 실험에서 두 모델은 100건 중 89건을 같은 유형으로 분류했고, 11건에서는 서로 다른 유형을 선택했다. 반면 긴급 여부에 대한 판단은 100건 모두 일치했다고 발표자는 설명한다. 이는 해당 입력 집합에서 두 모델의 결정이 상당 부분 비슷했다는 근거다. 그러나 발표자도 직접 인정하듯, 같은 결정을 내렸다는 사실만으로 두 모델이 정답을 맞혔다고 말할 수는 없다.
07:57 - 고객 문의 유형 분류의 일치 건수와 긴급 여부 판단 결과를 비교하는 구간
이 구분은 실험의 의미를 정확히 이해하는 데 중요하다. 음성에는 사람이 확정한 정답 데이터와 두 모델의 결과를 대조한 평가가 제시되지 않는다. 따라서 89건의 일치를 “정확도 89%”로 바꾸거나, 긴급 여부의 완전한 일치를 “긴급 문의를 모두 정확히 발견했다”로 해석해서는 안 된다. 두 모델이 같은 오류를 냈을 가능성 역시 이 비교만으로는 배제할 수 없기 때문이다.
영상 도입부에서 소개한 “환각 0%”라는 주장도 판단의 무오류성과 구분해야 한다. 발표자는 이후 Jev 역시 판단이 100% 올바르다고 보장할 수 없으며, 일반적인 LLM을 사용할 때와 같은 주의가 필요하다고 설명한다. 선택지 안에서만 응답하더라도 잘못된 선택지를 고르거나 긴급도를 낮게 평가하는 문제는 남을 수 있다. 이 실험이 보여주는 것은 출력의 제한과 빠른 판단이지, 판단 오류가 없다는 증명은 아니다.
댓글과 광고 메일에서도 유지된 처리 속도의 우위
발표자는 고객 문의 외에도 댓글에서 답변할 질문을 고르고, 영상 소재가 될 만한 내용을 분류하는 작업을 시도했다. 광고 문의 메일에 대해서는 분류뿐 아니라 브랜드 정보를 조회하고 자신의 조건에 맞는 제안인지 판단하는 흐름도 언급했다. 다만 브랜드 조회에 사용한 도구와 단계별 시간은 음성에 나오지 않으므로, Jev 자체가 외부 정보를 조회했다고 단정할 수는 없다. 아래 수치는 발표자가 각 작업에 대해 보고한 처리 시간이다.
| 작업 | Jev 직접 호출 | Tera | 처리 시간 비율 |
|---|---|---|---|
| 고객 문의 100건 | 2.1초 | 17.4초 | 약 8.3배 |
| 댓글 피드 약 100회[?] 처리 | 5.6초 | 35.2초 | 약 6.3배 |
| 광고 문의 메일 분류 | 6.3초 | 45.2초 | 약 7.2배 |
댓글 피드의 “약 100회”는 댓글 100건을 뜻하는지, 처리 작업을 100회 반복했다는 뜻인지 제공 문서만으로 확정할 수 없어 [?]로 표시했다.
표의 비율은 음성에 나온 Tera 처리 시간을 Jev 처리 시간으로 나누어 계산했다. 서로 다른 작업에서도 Jev가 더 빨랐다는 방향은 일관되며, 발표자가 정리한 약 6~8배의 개선과도 부합한다. 광고 문의 메일에서는 100건 가운데 99건을 같은 카테고리로 분류했다고 설명한다. 다만 이 역시 모델 간 일치도이며, 댓글 피드의 정확한 일치 건수와 두 추가 실험의 개별 비용은 음성에 제시되지 않았다.
08:48 - 댓글 피드와 광고 문의 메일 작업의 모델별 처리 시간을 비교하는 구간
이 결과는 제한된 분류 작업에서 Jev를 검토할 이유를 제공하지만, 제목의 200배 속도와 400배 비용 차이를 확인한 자료는 아니다. 발표자도 공식 사이트에서 주장하는 40~200배 수준의 속도 차이는 자신의 테스트에서 체감하지 못했다고 말한다. 대신 직접 측정한 작업들에서 더 빠르고 저렴한 결과가 반복되었다는 데 의미를 둔다. 따라서 이 영상은 최대 홍보 수치를 재현한 검증보다, 특정 한국어 업무에서의 실용적인 비교 사례에 가깝다.
분류는 Jev에, 답변 작성은 생성형 모델에 맡겼을 때
분류만 빨라진다고 해서 모든 업무의 완료 시간이 같은 비율로 줄어드는 것은 아니다. 실제 댓글 관리에서는 답변이 필요한 대상을 고른 다음, 그 댓글에 맞는 답변을 작성해야 하기 때문이다. Jev는 자유로운 글을 생성하지 않으므로 발표자는 분류 이후의 답변 작성을 Tera에 맡기는 조합을 시험했다. 비교 대상은 Tera가 선별과 답변 작성을 모두 수행하는 방식이었다.
두 방식 모두 댓글 100개에서 우선순위가 높은 5개를 고르고, 그 5개에 대해서만 답변을 생성하도록 구성했다. 따라서 모든 댓글에 답변하는 방식과 일부에만 답변하는 방식을 비교한 것이 아니라, 같은 수의 답변을 생성하면서 앞단의 판단 모델을 바꾼 실험이다. Jev를 사용한 쪽은 3.9초 만에 댓글 선별을 끝내고 답변 작성으로 넘어갔다. Tera 단독 방식은 선별에만 약 34초가 걸렸다고 발표자는 설명한다.
| 댓글 100개 중 5개 선별 후 답변 생성 | Tera 단독 | Jev와 Tera 조합 |
|---|---|---|
| 선별 단계 소요 시간 | 약 34초 | 약 3.9초 |
| 답변 작성까지 전체 소요 시간 | 약 42초 | 약 11초 |
| 전체 비용 | 약 0.36달러 | 약 0.026달러 |
| 답변을 생성한 댓글 수 | 5개 | 5개 |
전체 시간은 42초에서 11초로 줄어 약 3.8배 차이가 났고, 비용은 약 13.8배 차이가 났다. 이는 발표자가 설명한 “거의 4배 빠르고 약 14배 저렴하다”는 결과와 일치한다. 다만 11초라는 값은 Jev 단독의 답변 생성 시간이 아니라, Jev의 선별과 Tera의 답변 생성을 합친 전체 시간이다. 두 방식 모두 생성 단계를 포함하기 때문에 분류 단계의 속도 개선 비율이 전체 작업에 그대로 적용되지는 않는다.
11:36 - Tera 단독 방식과 Jev·Tera 조합의 전체 시간 및 비용을 비교하는 구간
선별 결과에는 중요한 차이도 있었다. 두 방식이 고른 댓글은 각각 5개였지만, 서로 겹친 댓글은 2개뿐이었다. 발표자는 Jev가 선택한 한글 이름 표시 오류와 Tera가 선택한 설치 관련 댓글을 예로 들며 양쪽 모두 합당한 선택이라고 평가했다. 그러나 이 평가는 선택이 납득할 만하다는 정성적 판단이며, 동일한 댓글에 대해 답변 품질을 비교한 결과는 아니라는 점을 구분해야 한다.
적용의 핵심은 불필요한 생성 작업을 줄이는 데 있다
발표자가 제시하는 적용 기준은 현재 작업에서 판단만 필요한 부분과 실제로 문장을 생성해야 하는 부분을 나누어 보는 것이다. 대량의 입력에서 일부만 후속 처리 대상으로 골라야 한다면, 앞단의 분류를 저렴하고 빠른 모델에 맡길 여지가 생긴다. 영상에서는 고객 문의 분류, 댓글 선별, 광고 제안 분류가 그 사례로 제시된다. 반면 모든 입력에 반드시 답변해야 한다면, 답변 대상을 고르기 위한 별도의 단계가 불필요할 수 있다고 발표자는 설명한다.
이 접근 자체가 새로운 것은 아니라는 점도 영상에서 언급된다. 발표자는 저렴한 모델로 먼저 라우팅하고 더 비싼 모델로 최종 결과물을 만드는 방식이 기존 API 활용에서도 널리 쓰였다고 설명한다. Jev의 의미는 그 구조를 처음 만들었다는 데 있기보다, 앞단의 제한된 판단에 특화된 후보를 제공한다는 데 있다. 결국 도입 여부는 모델 이름보다 실제 입력 수, 선별 기준, 후속 생성 작업의 비중에 따라 판단해야 한다.
실험 결과를 서비스 설계로 연결할 때는 선별 속도와 함께 선별에서 빠지는 항목도 살펴봐야 한다. 이는 영상의 측정 결과와 구분되는 편집적 해석으로, 답변이 필요한 댓글을 앞단에서 놓치면 뒤의 생성 모델이 이를 보완할 기회 자체가 사라지기 때문이다. 특히 두 방식의 상위 5개 중 2개만 겹쳤다는 결과는 같은 지시문이라도 우선순위가 달라질 수 있음을 보여준다. 따라서 실제 적용을 평가할 때에는 비용과 시간뿐 아니라 중요한 문의의 누락, 선택된 대상의 적절성, 최종 답변 품질도 함께 확인할 필요가 있다.
마무리 / 핵심 정리
코드팩토리의 실험에서 Jev는 분류와 우선순위 판단에 집중했을 때 Tera보다 빠르게 작업을 처리했다. 직접 호출 기준으로 고객 문의에서는 약 8.3배, 댓글 피드에서는 약 6.3배, 광고 문의 메일에서는 약 7.2배의 처리 시간 차이가 나타났다. 고객 문의의 산출 비용은 약 76배 차이가 났으며, Jev로 댓글을 선별하고 Tera로 답변을 작성한 조합은 전체 작업에서 약 3.8배의 속도 개선과 약 14배의 비용 차이를 보였다. 이 수치들은 해당 실험의 결과이며, 제목의 최대 배수나 모든 환경에서의 성능을 입증하지는 않는다.
영상이 제시하는 가장 유용한 관점은 생성이 필요한 단계와 판단만 필요한 단계를 분리하라는 것이다. 다만 고객 문의나 광고 메일에서 두 모델의 분류가 많이 일치했다는 결과는 정확도 검증과 구분해야 하며, 답변 대상 선별에서는 실제로 서로 다른 우선순위가 나타났다. 따라서 Jev의 가치는 빠르고 저렴한 판단을 전체 작업 흐름에 얼마나 적절하게 배치할 수 있는지에 달려 있다. 대량의 입력을 먼저 걸러내야 하는 업무라면, 영상은 그 구조를 검토할 만한 구체적인 실험 사례를 제공한다.
📚 출처 및 참고
이번 검수는 사용자가 제공한 STT 기반 리포트를 대상으로 했다. 원본 STT와 음성은 직접 대조하지 못했으며, 원본 영상 접근도 실패했다. 표에 제시된 시간과 비용은 제공 문서의 값을 유지하고 배수 계산을 재확인했다. 실제 코드, 요청 설정, 내부 모델 구조와 별도의 외부 벤치마크는 확인하지 않았으므로 이를 보충해 서술하지 않았다. 평가의 한계와 서비스 적용에 관한 추가 해석은 발표자의 측정 결과와 구분해 기술했다.
| 구분 | 내용 |
|---|---|
| 원본 영상 | Jev 진짜 200배 빠르고 400배 저렴한지 테스트 해봤습니다. |
| 채널 | 코드팩토리 |
| 원문에 기재된 STT 범위 | 00:00~13:38 |
| 리포트 작성 | 2026-09-22 |
| 작성 방식 | 제공된 STT 기반 리포트 에디팅 및 수치 계산 확인 |
| 수치 해석 | 처리 시간과 비용의 배수는 제공 문서의 반올림 수치 기준 |
| 검증 범위 | 배수 계산과 문서 내 표현 검토. 원본 음성·화면 및 외부 문서는 미검증 |
| 미확인 항목 | Jev·Tera의 정확한 명칭, Null[?] 표기, 댓글 피드 약 100회[?]의 처리 단위 |
| 스크린샷 | 제공 목록에 webUrl이 없어 미삽입 |
💬 본 리포트는 영상의 음성 내용을 바탕으로 작성된 제공 문서를 검수한 결과다. 정확한 제품명, API 표기, 실험 설정과 화면 자료는 원본 영상을 참조할 수 있다.