RAG는 정말 죽었는가? — Agentic Search 시대의 검색 패러다임
📺 원본 영상: RAG is dead, right?? — Kuba Rogut, Turbopuffer 🎙️ 채널: AI Engineer 📅 정리 일자: 2026-06-10 ⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
TurboPuffer의 엔지니어 Kuba Rogut은 이 강연에서 “RAG(Retrieval-Augmented Generation)는 죽었다”는 소셜 미디어의 유행어를 정면으로 반박하며, 오히려 RAG의 실제 수요는 사상 최고치를 기록하고 있다는 데이터를 제시한다. 그 핵심 논지는 ‘죽은 것’은 RAG 자체가 아니라, 사람들이 RAG라고 오해하고 있던 단순 벡터 검색이라는 것이다. 강연은 Cursor와 Claude Code라는 두 대조적인 사례를 통해 단순 RAG에서 Agentic Search(에이전트 기반 검색)로의 패러다임 전환이 어떻게 실질적인 성능 향상과 비용 절감으로 이어지는지를 구체적으로 보여준다.
”RAG는 죽었다” — 소셜 미디어와 현실의 괴리
2025년 말과 2026년 초에 걸쳐 X(구 Twitter)에는 “RAG is dead”, “Agentic file search is all we need”라는 류의 게시글이 폭발적으로 쏟아졌다. 많은 AI 커뮤니티 사람들이 RAG라는 개념이 구시대 기술로 도태되었다고 선언하는 분위기였다. 하지만 강연자는 이 주장에 데이터로 반격한다.
💡 [영상 참조] 강연자는 이 시점에서 “RAG is dead” 관련 트윗들을 화면에 띄워 보여줍니다. 📺 원본 영상에서 확인하세요.
Google 검색량 추이를 보면 전혀 다른 이야기가 펼쳐진다. 2023년 AI 붐과 함께 급상승한 RAG 관련 검색량은 2024년 한 해 동안 다소 정체되었다가, 2025년 중반을 기점으로 완전히 새로운 변곡점을 맞이하며 검색량이 급격히 치솟는다. 소셜 미디어에서 “RAG는 죽었다”는 주장이 절정에 달하던 바로 그 시기에, 실제 사람들의 RAG에 대한 관심과 수요는 역사상 가장 높은 수준을 기록하고 있었던 것이다. 강연자는 이 아이러니한 상황을 두고 “So take that, Twitter”라는 말로 간결하게 정리한다.
01:17 - Google 검색량 추이 차트 — 2023년 급상승 후 2024년 정체, 2025년 중반 새로운 변곡점을 보여주는 그래프
RAG의 재정의 — 벡터 검색 그 이상
혼란의 근원은 용어의 오남용에 있다. 많은 사람들이 RAG를 단순히 벡터 검색(vector search)과 동의어로 사용해왔다. 코퍼스(corpus)를 임베딩하고, 쿼리 벡터를 넘겨 유사한 문서를 찾은 뒤 LLM에 컨텍스트로 주입하는 것, 이것이 대중이 생각하는 RAG의 전부였다.
그러나 강연자는 RAG를 그 구성 단어 그대로 분해해서 보아야 한다고 강조한다. **Retrieval(검색)**이란 벡터 검색 하나만을 의미하는 것이 아니다. BM25(BM25, 전통적인 역색인 기반 전문 검색 알고리즘)를 이용한 풀텍스트 검색(full-text search), 파일 시스템 grepping과 globbing, 정규 표현식(regex), 그리고 단순한 메타데이터 필터링까지 검색의 범주에 포함된다. Augmented Generation은 이 다양한 검색 결과들을 LLM에 주입하여 생성 품질을 높이는 과정이다. 결국 RAG라는 개념 자체는 옳고 살아있으며, 단지 그것을 “벡터 검색 한 번” 수준으로 한정했던 좁은 해석이 한계에 봉착한 것뿐이다.
**Agentic Search(에이전트 기반 검색)**라는 개념도 마찬가지다. 흔히 이 용어는 Claude Code나 Codex와 같은 코딩 에이전트가 파일 시스템을 grep하는 방식을 지칭하는 데 사용된다. 하지만 강연자가 제시하는 정의는 더 넓다. 에이전트에게 다양한 검색 도구(tool)들을 제공하고, 에이전트가 이 도구들을 활용해 점진적이고 반복적으로(progressively and iteratively) 컨텍스트를 탐색하고 추론하도록 하는 것이 진정한 Agentic Search다. Claude Code를 예로 들면, 에이전트는 파일을 읽고, grep하고, 원하는 정보를 찾지 못했다고 판단하면 다시 검색하고, 만족스러운 상태에 도달할 때까지 이 루프를 반복한다.
Cursor의 사례 — 시맨틱 검색의 가치를 수치로 증명하다
강연자는 TurboPuffer의 초기 고객 중 하나인 Cursor를 Agentic Search의 모범 사례로 소개한다. Cursor는 2026년 초에 코드베이스를 어떻게 인덱싱하는지에 대한 상세한 블로그 포스트를 공개했는데, 이 내용이 강연의 핵심 근거 중 하나로 활용된다.
사용자가 Cursor에서 새로운 코드베이스나 브랜치를 열면, Cursor는 해당 코드베이스를 파싱(parsing)하고 청크(chunk) 단위로 나눈 후 임베딩하여 시맨틱 검색이 가능한 상태로 만든다. 여기서 Cursor가 해결해야 했던 현실적인 문제가 있었다. 100명의 엔지니어로 구성된 팀이 있다고 가정할 때, 이들 대부분은 동일한 몇 개의 코드베이스를 반복적으로 여는 경우가 많다. 그때마다 동일한 코드베이스를 re-chunk하고 re-embed하는 것은 비용 낭비였다.
Cursor의 해법은 **머클 트리(Merkle Tree)**였다. 암호화폐 분야에서 익숙한 이 해시 트리 구조를 활용해, 같은 팀 내에서 열리는 코드베이스들 간의 유사도를 계산하는 것이다. 코드베이스가 충분히 유사하다면 기존 데이터를 복사한 뒤, 변경된 파일들만 선택적으로 re-chunk하고 re-embed한다. 이 모든 과정은 TurboPuffer를 통해 보안을 유지하며 처리된다. 강연자는 이 설계를 두고 “excellent blog post”라며 높이 평가했다.
💡 [영상 참조] 강연자는 이 시점에서 Cursor의 시맨틱 검색 성능 벤치마크 데이터를 화면에 표시합니다. 📺 원본 영상에서 확인하세요.
04:54 - Cursor 내부 벤치마크 결과 — 모델별 시맨틱 검색 적용 시 답변 정확도 향상 수치 (12.5~13.5%, Composer 모델 약 24%)
그 노력의 성과는 수치로 분명하게 드러난다. Cursor의 내부 벤치마크(Cursor Context Benchmark)에 따르면, 시맨틱 검색을 적용했을 때 모델 평균 답변 정확도가 약 12.5~13.5% 향상되었다. 특히 (당시 Cursor의) Composer 모델에서는 무려 24%에 가까운 정확도 향상이 관찰되었다. 온라인 A/B 테스트 결과도 주목할 만하다. 대규모 코드베이스에서 코드 보존율(code retention)이 약 2.6% 증가했고, 불만족 사용자 요청이 약 2.2% 감소했다.
05:31 - Cursor A/B 테스트 결과 — 코드 보존율 2.6% 증가, 불만족 사용자 요청 2.2% 감소 데이터
강연자는 이 숫자들이 작아 보일 수 있다는 점을 스스로 인정하면서도, 그 이유를 명확히 설명한다. 시맨틱 검색은 모든 쿼리에서 활성화되는 것이 아니다. 100개의 임의 쿼리를 처리하더라도 그 중 일부만이 시맨틱 검색의 존재로부터 실질적인 혜택을 받는다. 따라서 2.x% 수준의 전체 지표 개선은 시맨틱 검색이 활용되는 구간에서의 효과가 충분히 크다는 것을 역으로 시사한다.
Claude Code의 접근법 — 파일 시스템 grep으로의 회귀
Cursor와 대조되는 사례로 Claude Code가 등장한다. Claude Code의 창립 엔지니어라 할 수 있는 Boris Cherny의 트윗에 따르면, Claude Code는 현재 벡터 검색을 사용하지 않는다. 초기 개발 과정에서는 실제로 RAG와 로컬 벡터 DB를 시도했지만, 결국 잘 동작하지 않는다는 결론에 도달했다는 것이다.
Claude Code의 에이전트는 대신 파일 시스템을 직접 탐색한다. 코드베이스에 대한 이해가 필요할 때마다 grep하고, 파일을 읽고, 충분한 정보를 얻었는지 판단하고, 아직 부족하다면 다시 탐색하는 루프를 반복한다. 이 방식의 장점은 별도의 인덱싱 비용 없이 즉시 사용 가능하다는 점이다. 하지만 다음 섹션에서 설명하는 것처럼, 이 방식에는 반복적인 비용 문제가 내재되어 있다.
임베딩은 “캐시 컴퓨트”다 — 두 가지 접근법의 비용 구조 비교
이 강연에서 가장 통찰력 있는 개념 중 하나가 여기서 등장한다. 강연자는 임베딩(embeddings)과 시맨틱 검색을 **캐시 컴퓨트(cached compute)**라는 관점으로 바라볼 것을 제안한다.
💡 [영상 참조] 강연자는 이 시점에서 Claude Code 방식과 Cursor 방식의 에이전트 실행 흐름을 비교하는 다이어그램을 화면에 제시합니다. 📺 원본 영상에서 확인하세요.
07:07 - Claude Code(per-session discovery) vs Cursor(upfront indexing) 방식의 에이전트 실행 흐름 비교 다이어그램
Claude Code 방식을 먼저 생각해보자. 어떤 에이전트가 “메타데이터 필터링이 어떻게 동작하는가?”라는 질문을 이해해야 한다고 가정하면, 그 에이전트는 관련 파일들을 찾을 때까지 grep → 파일 읽기 → 판단 → 반복의 과정을 거쳐야 한다. 이 비용은 세션마다 발생한다. 10명의 개발자가 10일에 걸쳐 동일한 질문을 에이전트에게 하면, 에이전트는 정확히 동일한 탐색 과정을 100번 반복한다. 강연자는 이 예시에서 토큰 비용을 $6,000 규모로 언급하며, “이건 에이전트의 하위 단계 하나에 불과하다는 것을 기억하라”고 강조했다.
반면 Cursor 방식은 구조가 다르다. 코드베이스를 파싱하고 임베딩하는 초기 비용(upfront cost)이 존재하지만, 이것은 일회성 비용이다. 이후 런타임에서 에이전트는 “메타데이터 필터링은 어떻게 동작하는가?”라고 가볍게 쿼리하기만 하면 관련 코드 청크들을 즉시 돌려받을 수 있다. 토큰을 아끼고, 응답 시간을 단축하고, 비용을 절감한다. 임베딩이라는 사전 작업이 이후 모든 세션에서 반복될 탐색 비용을 미리 캐싱해놓는 역할을 하는 것이다.
TurboPuffer 팀 내부에서도 이 차이가 체감으로 드러났다. 원래 Claude Code를 주로 사용하던 팀원들이 Cursor로 넘어가기 시작했는데, 특히 Composer 2 모델과 시맨틱 검색의 조합이 만들어내는 속도감이 그 전환의 가장 큰 이유였다고 한다.
단순 RAG에서 Agentic Retrieval로의 전환
강연자는 이 시점에서 자신들이 TurboPuffer를 운영하며 관찰하고 있는 시장의 변화를 짚는다. 2023년, 그리고 2024년 초만 해도 주류였던 방식, 즉 벡터 검색을 한 번 호출해서 결과를 컨텍스트 창에 통째로 넘기는 단순 RAG는 이제 더 이상 주류가 아니다.
지금의 정교한 고객들은 에이전트가 여러 단계를 거치며 추론하고, 필요에 따라 시맨틱 검색과 풀텍스트 검색을 번갈아 사용하며, 그 특정 문제 해결에 꼭 필요한 컨텍스트만을 선택적으로 가져오는 방식으로 시스템을 설계한다. 검색은 더 이상 파이프라인의 첫 번째 단계에서 한 번 발생하는 일회성 이벤트가 아니라, 에이전트의 사고 과정 전반에 걸쳐 수십 번 반복될 수 있는 초반복적(super iterative) 행위가 되었다. 에이전트는 검색을 통해 이해를 넓히고, 그 이해를 바탕으로 더 나은 검색을 수행하는 루프 안에 있다.
”Right Million” — Jeff Dean의 통찰
강연의 마무리 부분에서, 강연자는 Google의 Jeff Dean이 한 팟캐스트에서 남긴 말을 인용한다. 당시 Jeff Dean은 대용량 컨텍스트 창을 가진 Gemini 모델들에 대한 맥락에서 다음과 같이 말했다.
“You don’t need a trillion at once, you need the right million.” (한 번에 조 단위의 토큰이 필요한 것이 아니다. 필요한 것은 올바른 백만 개의 토큰이다.)
10:10 - Jeff Dean 인용 슬라이드 — ‘You don’t need a trillion at once, you need the right million’
이 한 문장이 TurboPuffer가 존재하는 이유이자, Agentic Search가 왜 중요한지를 압축한다. 아무리 컨텍스트 창이 커지더라도, 핵심은 수조 개의 토큰 중에서 지금 이 순간 이 에이전트에게 필요한 올바른 수백만 개의 토큰을 정밀하게 추려내는 것이다. TurboPuffer에는 수조 개의 토큰이 저장된 고객들이 있으며, 강연자는 결국 그 방대한 데이터에서 올바른 10만, 올바른 100만 개를 뽑아내어 LLM의 컨텍스트 창에 전달하는 것이 핵심이라고 강조한다.
마무리 — RAG의 죽음이 아닌 진화
이 강연이 전달하고자 하는 핵심은 명확하다. RAG는 죽지 않았다. 오히려 단순하고 단편적이었던 RAG가 진화하여 Agentic Search라는 더 정교하고 강력한 패러다임으로 성숙해가고 있는 것이다. 소셜 미디어의 유행어에 현혹되지 않고 실제 데이터와 현장 사례를 살펴보면, 검색과 검색 가능한 데이터베이스의 가치는 AI 에이전트의 발전과 함께 오히려 더욱 커지고 있다. Cursor의 사례가 보여주듯, 임베딩과 시맨틱 검색에 대한 투자는 모델의 정확도, 사용자 만족도, 그리고 토큰 비용 효율이라는 세 가지 측면 모두에서 실질적인 return을 만들어낸다. 핵심은 단순한 도구의 교체가 아니라, 에이전트가 필요한 순간에 올바른 정보를 올바른 방식으로 찾아낼 수 있도록 검색 시스템 전체를 설계하는 것이다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | RAG is dead, right?? — Kuba Rogut, Turbopuffer |
| 채널 | AI Engineer |
| 강연자 | Kuba Rogut (TurboPuffer) |
| 리포트 작성 | 2026-06-10 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.