에이전트 관찰 가능성은 왜 전통적 관찰 가능성과 근본적으로 다른가
📺 원본 영상: How agent o11y differs from traditional o11y — Phil Hetzel, Braintrust 🎙️ 채널: AI Engineer 📅 정리 일자: 2026-05-29 ⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
Braintrust의 Solutions Engineering 리드인 Phil Hetzel은 이 강연에서 에이전트 관찰 가능성(Agent Observability)이 Grafana나 Datadog 같은 전통적인 관찰 가능성(Traditional Observability) 도구로는 해결할 수 없는 근본적으로 다른 문제임을 세 가지 관점에서 논증한다. 단순한 업타임 모니터링을 넘어 에이전트의 ‘품질’을 측정해야 하는 새로운 패러다임, 기가바이트 단위의 반구조화 트레이스 데이터를 실시간으로 처리해야 하는 시스템 엔지니어링 과제, 그리고 비기술직 도메인 전문가가 관찰 가능성 워크플로에 직접 참여하는 조직 구조의 변화가 그 핵심이다.
강연자 소개 및 Braintrust
Phil Hetzel은 Braintrust에서 솔루션 엔지니어링을 이끌기 전 12년간 컨설팅과 시스템 구현 분야에서 경력을 쌓았으며, Slalom 컨설팅에서 글로벌 Databricks 프랙티스를 이끌었다. 그 과정에서 그가 목격한 패턴은 일관적이었다. 고객들은 생성형 AI의 개념 검증(Proof of Concept)을 만드는 데는 능숙했지만, 그것을 프로덕션 환경으로 끌어올리는 데는 번번이 실패했다. 이 문제를 직접 해결하기 위해 Braintrust를 사용자로서 먼저 경험하고, 입사를 지원해 현재는 약 1년째 재직 중이다.
Braintrust는 스스로를 ‘에이전트 품질 플랫폼(Agent Quality Platform)‘으로 정의한다. 이 플랫폼이 집중하는 질문은 두 가지다. 첫째, 프로덕션에 배포된 에이전트가 기대했던 수준으로 동작하고 있는가, 즉 해당 에이전트에 대한 신뢰를 지속적으로 유지할 수 있는가. 둘째, 에이전트를 수정하고 개선하는 실험 과정에서 각 변경이 실제로 품질을 향상시키고 있다는 확신을 얻을 수 있는가. 에이전트 관찰 가능성은 이 두 가지 질문 모두에 근본적으로 연결된 핵심 기능이다.
전통적 관찰 가능성의 영역
전통적 관찰 가능성의 범위는 명확하고 잘 정의되어 있다. 핵심 질문은 “시스템이 작동하고 있는가?”이며, 이를 측정하는 수단으로 레이턴시(Latency), 에러 카운트(특히 HTTP 400/500 계열), 응답 시간과 같은 기술적 지표(Metrics)와, 하나의 전체 워크플로를 나타내는 트레이스(Trace), 그 안의 개별 단계를 나타내는 스팬(Span)이 활용된다. Grafana, Datadog 같은 도구들이 이 영역을 오랫동안 성숙하게 지원해왔으며, 이 도구들은 대규모 환경에서도 안정적으로 동작한다는 사실이 검증되어 있다.
강연자는 Braintrust 역시 자사 웹사이트에서 사용자들이 500 또는 400 레벨 오류를 겪는지 파악하기 위해 Datadog을 적극적으로 사용하고 있다고 밝힌다. 에이전트 관찰 가능성 플랫폼이 전통적 관찰 가능성 도구를 대체하는 것이 아님을 명확히 한 것이다. 두 도메인은 서로를 보완하는 관계이며, 그 범위(Scope)가 근본적으로 다르다는 것이 강연의 출발점이다.
차이점 1 — 결정론적 시스템 vs 비결정론적 에이전트
전통적인 애플리케이션은 결정론적(Deterministic)이다. 동일한 입력이 들어오면 동일한 코드 경로를 따라 동일한 결과를 만들어낸다. 전통적 관찰 가능성이 잘 작동하는 이유는 바로 이 특성 덕분이다. 측정해야 할 지표의 종류와 범위가 사전에 알려져 있고, 이를 기반으로 임계치(Threshold)와 알림(Alert)을 설계할 수 있다.
반면 LLM을 기반으로 하는 에이전트는 근본적으로 비결정론적(Non-deterministic)이다. 강연자는 이것이 LLM의 단점이 아니라 LLM을 사랑하는 바로 그 이유, 즉 ‘높은 다양성(High Variety)‘에서 비롯된다고 설명한다. 에이전트는 동일한 목표를 달성하기 위해 매번 다른 경로를 택할 수 있으며, 우리는 왜 에이전트가 특정 경로를 선택했는지 이해해야 한다. 이는 측정해야 하는 지표의 범위가 훨씬 넓고 질적(Qualitative)이어야 함을 의미한다.
전통적 지표인 레이턴시, 총 토큰 수(Total Tokens), Time to First Token은 에이전트 관찰 가능성에도 여전히 유효하다. 그러나 그것만으로는 충분하지 않다. “에이전트의 응답이 수집한 컨텍스트에 근거(Grounded)했는가?”, “추론 과정에서 기대했던 도구(Tool)를 사용했는가?”, “응답이 시스템 프롬프트에 설정된 브랜드 기준에 부합하는가?”와 같은 질적 지표들이 필수적으로 추가된다. 이런 지표들을 계산하기 위해서는 트레이스에 담겨야 할 정보의 양이 전통적 트레이스와는 차원이 다른 수준으로 커진다.
05:54 - 전통적 지표(레이턴시, 토큰 수 등)와 에이전트 수준의 질적 지표(Groundedness, Tool 사용 여부, 브랜드 정렬도)를 계층적으로 비교한 빙산(Iceberg) 형태의 다이어그램
차이점 2 — 에이전트 트레이스는 전혀 다른 시스템 문제다
에이전트 트레이스는 전통적 트레이스와 비교했을 때 세 가지 측면에서 극적으로 다르다. 첫째, 에이전트 트레이스는 고도로 반구조화(Semi-structured)되어 있으며, 그 안에 방대한 비구조화 텍스트 데이터를 포함한다. 둘째, 크기가 압도적으로 크다. Braintrust 고객들의 실제 사례에서 에이전트 트레이스 하나의 크기가 1기가바이트를 초과하는 경우를 확인했으며, 개별 스팬 하나가 20메가바이트에 달하는 경우도 존재한다. 셋째, 이럼에도 불구하고 처리 속도는 전통적 관찰 가능성 데이터와 동일한 수준의 실시간성을 요구받는다. 에이전트가 프로덕션에서 성공적으로 사용자를 확보하게 되면, AI 엔지니어나 프로덕트 매니저는 그 관찰 데이터를 진정한 실시간으로 확인하고 싶어 한다.
08:34 - 중첩된 스팬 구조와 각 스팬 내부의 방대한 비구조화 텍스트 데이터를 직접 시연
이 문제를 해결하기 위해 Braintrust는 에이전트 트레이스에 특화된 데이터베이스를 처음부터 직접 설계했다. 강연자는 이 결정이 ‘미친 짓’처럼 보일 수 있음을 인정하면서도, Braintrust 창업자가 SingleStore(분산 데이터베이스 회사)의 초기 직원 출신이기 때문에 자체 데이터베이스를 구축하는 것에 익숙한 사람이라고 설명한다. 이 데이터베이스는 몇 가지 핵심 기능을 동시에 지원해야 한다.
우선, 트레이스가 생성되는 즉시 사용자가 확인할 수 있도록 **Write-ahead Log(WAL)**에 즉시 데이터를 기록하는 구조가 필수다. 여기에 더해 필터링과 분석 쿼리의 성능을 보장하기 위한 인덱싱이 필요하며, 특히 에이전트 트레이스의 특성상 **전문 텍스트 인덱싱(Full-text Indexing)**이 핵심이다.
Braintrust가 이 목적으로 채택한 것은 Tantivy라는 오픈소스 프레임워크다. Tantivy는 Apache Lucene과 유사한 텍스트 기반 인덱싱을 수행하되 Rust로 작성된 라이브러리다. 강연자는 그 필요성을 이렇게 설명한다. 에이전트 트레이스에는 방대한 텍스트가 담겨 있기 때문에, “Amazon이라는 단어가 포함된 모든 트레이스를 찾아줘”와 같은 쿼리에 빠르게 응답하려면 전문 텍스트 인덱스가 반드시 필요하다. 전통적 관찰 가능성에서는 이런 텍스트 검색 문제를 거의 고민할 필요가 없었지만, 에이전트 관찰 가능성에서는 핵심 시스템 문제가 된다. Braintrust가 이전에 사용하다가 떠난 ClickHouse 역시 당시 이러한 텍스트 기반 인덱싱을 충분히 지원하지 못했던 것이 전환의 직접적인 이유였다. 이 모든 구성요소들은 최종적으로 SQL 또는 SQL에 준하는 언어를 통해 통합된 인터페이스로 제공된다.
10:40 - Write-ahead Log, 인덱싱, Tantivy 전문 텍스트 인덱스 구성요소가 표시된 자체 설계 데이터베이스 아키텍처
차이점 3 — 관찰 가능성의 사용자 페르소나가 완전히 달라진다
전통적 관찰 가능성의 사용자는 시스템 엔지니어나 프로덕트 엔지니어처럼 기술적 배경을 가진 사람들이다. 의료 애플리케이션이라도 임상의(Clinician)나 간호사(Registered Nurse)가 Grafana 대시보드를 들여다볼 것이라고 기대하는 사람은 없다. 이 관행은 에이전트 관찰 가능성의 세계에서 완전히 뒤집힌다.
강연자에 따르면, 에이전트를 가장 잘 구축하는 팀들은 기술직과 비기술직 인원이 함께 관찰 가능성 워크플로에 참여하고 있다는 공통점이 있다. 비기술직 인원은 두 가지 이유에서 이 과정에서 대체 불가능하다. 첫째, 그들이 실제 사용자에게 가장 가까이 있다. 둘째, 에이전트가 다루는 도메인에 대한 지식이 가장 깊다. 예를 들어 의료 에이전트라면 임상의가 에이전트의 응답 품질을 가장 잘 판단할 수 있다. 프롬프트를 자연어로 작성할 수 있게 된 덕분에, 이제 임상의, 간호사, 자산 관리사(Wealth Advisor), 변호사 같은 도메인 전문가들이 직접 에이전트 트레이스를 검토하고 개선 작업에 참여하는 것이 현실적으로 가능해졌다.
관찰 가능성과 Evals는 같은 문제다
Braintrust의 핵심 관점 중 하나는 관찰 가능성(Observability)과 평가(Evals)를 동일한 문제로 바라본다는 것이다. 강연자는 두 가지의 차이를 단 하나로 정의한다. Evals는 입력이 사전에 알려진 상태에서 배치(Batch)로 실행되고, 관찰 가능성은 입력을 사전에 알 수 없는 상태에서 실시간으로 처리된다. 이 관점에서 보면 두 워크플로는 동일한 시스템 위에서 운영될 수 있다. 프로덕션에서 수집된 트레이스를 오프라인 데이터셋에 추가하면, 그 트레이스들이 다음 Evals 사이클의 입력이 되는 루프가 자연스럽게 형성된다.
미래 방향 — 트레이스에서 인사이트로
강연자는 에이전트 관찰 가능성의 자연스러운 다음 질문은 “그렇다면 수집된 모든 트레이스 데이터를 가지고 사람들이 내 에이전트를 어떻게 사용하는지 알려줄 수 있는가?”라고 설명한다. 단순한 질문처럼 들리지만 그 뒤에는 복잡한 시스템이 필요하다.
Braintrust는 약 한 달 전 SaaS 오퍼링에 이 기능을 출시했다. 동작 방식은 다음과 같다. 에이전트 관찰 가능성 트레이스가 수집되면, 경량화된 LLM을 그 위에서 실행하여 트레이스를 임베딩(Embedding)하고 클러스터링(Clustering)한다. 이를 통해 토픽 모델링(Topic Modeling)을 수행하여 사용자들이 에이전트를 어떤 목적으로 활용하고 있는지(Intent), 에이전트와의 상호작용에서 어떤 감정(Sentiment)을 느끼는지, 그리고 어떤 문제들이 발생하고 있는지를 구조화된 인사이트로 제공한다. 이를 통해 프로덕션에서 발견된 문제와 이를 해결하기 위한 실험(Experimentation) 사이의 이터레이션 루프를 가속화하는 것이 궁극적인 목표다.
13:50 - LLM 기반 트레이스 임베딩/클러스터링을 통한 Topic Modeling, Intent, Sentiment 추출 플로우 다이어그램
Q&A 주요 내용
청중과의 질의응답에서 몇 가지 중요한 내용이 추가로 언급되었다. 먼저 ‘기능적 관찰 가능성(Functional Observability)‘이라는 표현이 청중 질문에서 제시되었는데, 강연자는 이를 적확한 표현이라 평가하며, 에이전트의 품질을 어떻게 정의했는가에 대한 관찰과 기술적 지표 관찰이 서로 보완적으로 작동해야 한다는 관점을 제시했다. 트레이스를 수행하면 프롬프트, 응답 시간, Time to First Token, 캐시 히트 등의 기술적 지표는 자동으로 함께 수집된다.
인간 어노테이션(Human Annotation)에 대한 질문도 있었다. 강연자는 전문가가 에이전트의 응답을 직접 채점하고 그 근거를 명시하는 것이 핵심 워크플로라고 설명했다. 이 근거들을 LLM으로 처리하면 더 확장 가능한(Scalable) 자동화 스코어링 함수를 만들어낼 수 있다. 즉, 인간의 어노테이션은 자동화 시스템이 발견하지 못하는 실패 패턴을 찾아내는 시드(Seed) 역할을 하며, 이것이 관찰 가능성과 Evals 루프 전체의 품질을 지속적으로 향상시키는 동력이 된다.
마무리 — 에이전트 관찰 가능성은 새로운 공학 문제다
이 강연의 핵심 주장은 명확하다. 에이전트 관찰 가능성은 전통적 관찰 가능성의 연장이 아니라 근본적으로 새로운 문제다. 비결정론적인 에이전트의 특성, 기가바이트 단위의 반구조화 트레이스를 실시간으로 처리해야 하는 시스템 엔지니어링 요구사항, 그리고 도메인 전문가까지 포함하는 넓어진 사용자 페르소나, 이 세 가지는 기존 도구로는 대응할 수 없는 구조적 차이를 만들어낸다.
전통적 관찰 가능성이 “시스템이 살아있는가?”를 묻는다면, 에이전트 관찰 가능성은 “에이전트가 잘 작동하고 있는가?”를 묻는다. 이 질문의 차이는 도구의 차이를 넘어 데이터 모델, 시스템 아키텍처, 그리고 조직 문화의 차이로 이어진다. Braintrust가 자체 데이터베이스까지 구축한 것은 이 문제의 깊이를 상징적으로 보여주는 선택이다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | How agent o11y differs from traditional o11y — Phil Hetzel, Braintrust |
| 채널 | AI Engineer |
| 리포트 작성 | 2026-05-29 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.
Related Reports
- Does GenAI belong to data scientists — Phil Hetzel, Braintrust
- The maturity phases of running evals — Phil Hetzel, Braintrust
- How this startup uses AI agents to eliminate bugs and optimize infrastructure
- Everything You Need To Know About Agent Observability — Danny Gollapalli and Ben Hylak, Raindrop
- Dark Factory - OpenClaw Ships Faster Than You Can Read the Diff — Vincent Koc, Comet ML