Verifiable Environments for AI in Biology — Kenny Workman, LatchBio
📺 원본 영상: Verifiable Environments for AI in Biology — Kenny Workman, LatchBio
🎙️ 채널: AI Engineer
📅 정리 일자: 2026-08-01
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
Kenny Workman은 LatchBio가 생물학 영역에서 AI 에이전트를 어떻게 평가하고 훈련 가능한 형태로 만들고 있는지를 설명한다. 강연의 핵심은 생물학 연구가 점점 더 거대한 데이터 분석 문제로 변하고 있으며, 이 데이터 분석 과정이 소프트웨어 엔지니어링에서 코드가 했던 것처럼 AI 에이전트를 검증하고 발전시키는 실행 가능한 기반이 될 수 있다는 주장이다.
그가 말하는 “검증 가능한 환경(Verifiable Environments)”은 단순히 정답이 있는 퀴즈를 뜻하지 않는다. 실제 생물학 연구처럼 데이터가 크고, 분석 경로가 다양하며, 과학적 판단이 개입되는 환경에서 AI가 의미 있는 작업을 수행했는지 확인할 수 있는 구조를 만드는 문제다. 이 지점에서 LatchBio는 SpatialBench, long-horizon benchmark, human verification, rubric 기반 평가를 결합해 생물학용 AI 에이전트의 성능을 끌어올리려 한다.
생물학은 데이터 폭발의 과학이 되었다
Workman은 생물학에서 AI 에이전트가 필요한 이유를 데이터 생성량의 폭발에서 찾는다. 현대 생물학의 주요 실험은 single-cell biology(단일세포 생물학), spatial biology(공간 생물학), proteomics(단백질체학) 같은 기술을 중심으로 돌아가며, 이들 실험은 한 번의 실행만으로도 일반 연구자가 노트북에 안전하게 저장하기 어려운 규모의 데이터를 만들어낸다. 강연에 따르면 single-cell 실험은 한 번에 2~6TB, spatial biology 실험은 약 7TB, proteomics는 최대 100GB 수준의 데이터를 생성할 수 있다.
이 숫자가 중요한 이유는 생물학 연구의 병목이 더 이상 단순한 관찰이나 실험 수행에만 있지 않기 때문이다. 과학자는 생물학적 모델을 선택하고, 실험으로 데이터를 생성한 뒤, 그 데이터를 처리하고, 기존 문헌과 연결해 해석하며, 마지막으로 과학적 주장을 구성한다. 문제는 이 전체 흐름이 점점 더 복잡한 데이터 분석 파이프라인에 의존하게 되었다는 점이다. Workman은 이를 “panning for gold”에 비유하는데, 거대한 노이즈의 바다에서 의미 있는 생물학적 신호를 찾아내야 한다는 뜻이다.
이런 맥락에서 그는 코드가 소프트웨어 작업을 위한 검증 가능한 기반이 되었던 것처럼, 생물학에서는 데이터 분석이 AI 에이전트를 위한 실행 가능한 기반이 될 수 있다고 본다. 코드는 테스트를 통해 정답 여부를 어느 정도 확인할 수 있고, 그 덕분에 coding agent가 빠르게 발전할 수 있었다. 생물학에서도 데이터 분석 단계가 충분히 구조화된다면, 에이전트가 실제 연구 업무에 가까운 작업을 수행하고 그 결과를 평가받는 환경을 만들 수 있다는 것이 그의 출발점이다.
💡 [영상 참조] 강연 초반 Workman은 생물학 데이터 생성량이 시간에 따라 증가하는 곡선을 설명한다. 화면의 그래프 세부 수치는 STT에 포함되어 있지 않으므로, 정확한 시각 자료는 원본 영상을 참조해야 한다.
LatchBio가 본 에이전트 생물학의 가능성
LatchBio는 처음부터 AI 에이전트 회사로 출발한 것은 아니었다. Workman에 따르면 LatchBio는 Berkeley에서 시작해 biotech 및 pharma 기업을 위한 데이터 도구 벤더로 출발했고, 대규모 실험 파일 데이터를 저장하고 변환하는 서비스를 제공했다. 이후 회사는 실험 키트를 만드는 업체들과 더 깊이 협력하면서, 과학자가 데이터를 분석할 수 있도록 소프트웨어를 패키징하는 방향으로 이동했다.
전환점은 2025년 여름 무렵 agent prototype이 실제로 작동하기 시작했을 때였다. 당시 LatchBio는 생물학 작업에 특화된 post-training을 거의 받지 않은 coding model을 사용해, 과학자가 채팅 인터페이스로 질문하고, 에이전트가 dashboard를 만들거나 외부 compute 작업을 실행하는 제품을 실험했다. 예를 들어 암 조직 생검의 spatial measurement 데이터를 놓고, malignant 영역과 non-malignant 영역 사이에서 어떤 gene이 과발현되는지를 과학자가 에이전트와 반복적으로 탐색하는 식이다.
흥미로운 점은 초기 결과가 완벽하지 않았음에도 “작동할 수 있다”는 신호를 보여주었다는 것이다. Workman은 이때 agentic biology가 coding agent의 발전 경로와 닮을 수 있다고 보았다. 처음에는 오류가 많고 서툰 에이전트가 등장하지만, 능력이 개선되면 여러 에이전트가 팀처럼 협업하며 더 큰 과학적 작업을 수행할 수 있다. 다만 그는 현재 frontier model이 실제 생물학 업무를 맡길 만큼 신뢰할 수 있는 수준은 아니라고 분명히 말한다. 모델은 생물학 지식과 코드 작성 능력을 어느 정도 갖고 있지만, 실제 데이터에서 과학적 insight를 추출하는 능력은 아직 별도의 훈련과 평가가 필요하다.
Spatial Biology가 첫 번째 실험장이 된 이유
LatchBio가 첫 번째 집중 영역으로 spatial biology를 선택한 것은 우연이 아니다. Spatial biology는 조직 안에서 RNA가 공간적으로 어떻게 분포하는지를 측정하기 때문에, 생물학적 현상이 실제 조직 구조 속에서 어떻게 나타나는지 볼 수 있다. Workman은 이를 “measurement-driven progress”의 아름다운 사례라고 표현하며, 예컨대 발달 중인 mouse embryo에서 생물학적 현상이 펼쳐지는 모습을 관찰할 수 있다고 설명한다.
Spatial biology 데이터는 일반적으로 거대한 숫자 행렬과 high-content image의 결합 형태로 나온다. 연구자는 이 데이터를 여러 단계의 분석 파이프라인에 통과시켜야 하며, 각 단계는 사용한 기술, 조직 종류, 질병 맥락에 따라 크게 달라진다. 문제는 이 분야가 아직 각 단계에 대해 완전한 consensus를 갖고 있지 않다는 점이다. 따라서 단순히 “정답”을 묻는 벤치마크로는 실제 과학 작업을 제대로 평가하기 어렵다.
강연자는 sequencing-based spatial 기술의 예를 들어 이를 설명한다. 작은 bead 위에 DNA가 붙어 있고, 조직 절편 안의 RNA가 여기에 결합되며, 그 결과 RNA가 조직 안 어디에 있었는지를 공간 해상도와 함께 추적할 수 있다. 하지만 데이터가 생성된 이후에는 normalization, cell scoring, gene grouping, image와 matrix의 연결, biological interpretation 등 복잡한 분석 선택이 이어진다. 이 선택의 다양성이 바로 생물학 에이전트 평가를 어렵게 만드는 핵심이다.
💡 [영상 참조] Workman은 spatial biology의 다양한 capture technology를 나무 구조로 보여주며, 화학·광학·반도체·물리학의 발전이 이 분야를 구성한다고 설명한다. 화면의 트리 구조는 STT에 포함되지 않으므로 원본 영상에서 확인하는 것이 좋다.
SpatialBench: SWE-bench에서 빌린 생물학 평가 구조
기존 생물학 벤치마크는 Workman이 보기에 LatchBio가 풀고자 하는 문제와 맞지 않았다. 많은 benchmark가 Q&A 형식으로 생물학 지식을 묻거나, 학술적으로 “무엇을 하겠는가”를 답하게 하는 데 그쳤기 때문이다. 하지만 실제 agentic biology에서 중요한 것은 모델이 데이터를 직접 다루고, 분석 절차를 수행하며, 그 결과가 특정 과학적 목표에 부합하는지 확인하는 능력이다.
이 문제의식에서 LatchBio는 SpatialBench를 만들었다. 강연에 따르면 SpatialBench는 146개의 문제로 구성되며, 여러 spatial biology kit와 다양한 분석 task를 포괄한다. 하나의 evaluation은 데이터 노드, task prompt, grader configuration, deterministic grader로 구성된다. 여기서 데이터 노드는 숫자 행렬이나 high-content image 같은 실제 분석 대상이고, grader는 Python function처럼 성공 조건을 판정하는 역할을 한다.
Workman은 이 구조가 SWE-bench와 닮았다고 말한다. SWE-bench가 실제 소프트웨어 이슈와 테스트를 통해 coding model을 평가하듯, SpatialBench는 생물학 데이터 분석 task와 검증 함수를 통해 biological agent를 평가하려는 시도다. 다만 생물학은 코드보다 ground truth가 훨씬 희소하고 불명확하기 때문에, task를 너무 크게 잡으면 모델의 실패 원인을 이해하기 어렵다. 그래서 LatchBio는 분석 DAG의 작은 구성 요소로 task를 나누고, 그 단계에서 어떤 상태가 ground truth에 가까운지 정의하려 했다.
좋은 생물학 벤치마크의 조건: 검증 가능성, 내구성, 데이터 상호작용
Workman은 좋은 biological test의 조건으로 세 가지를 강조한다. 첫째는 verifiability(검증 가능성)다. 모델이 어떤 작업을 수행했을 때 성공 조건을 함수로 확인할 수 있어야 한다. 이는 coding benchmark와 크게 다르지 않으며, 자동 평가를 가능하게 하는 최소 조건이다.
둘째는 durability(내구성)다. 생물학은 명확한 ground truth를 잘 허용하지 않기 때문에, task를 허술하게 만들면 유효한 분석 경로가 틀린 것으로 평가될 수 있다. 예컨대 동일한 과학적 질문에 대해 여러 정상적인 normalization 방식이나 gene selection 방식이 존재할 수 있는데, benchmark가 특정 방식만 정답으로 간주하면 실제로는 좋은 분석을 한 모델을 실패로 처리할 위험이 있다. 따라서 평가 기준은 다양한 분석 경로에 대해 어느 정도 invariant해야 한다.
셋째는 모델이 한 번의 답변으로 해결할 수 없어야 한다는 점이다. Workman은 agentic work를 평가하려면 결론이 memorized knowledge에서 나오는 것이 아니라 데이터와의 상호작용을 통해 나와야 한다고 본다. 이는 생물학 AI 에이전트가 단순한 생물학 지식 챗봇을 넘어 실제 연구 workflow에 참여하려면 반드시 필요한 조건이다.
Human Verification이 드러낸 문제: 과학적 모호성은 생각보다 크다
LatchBio는 SpatialBench를 만든 뒤 human verification으로 넘어갔다. Workman은 2026년 1월부터 3월 사이 여러 모델 release의 trajectory data를 보면서 기존 가정 중 많은 부분이 나빴다는 점을 깨달았다고 말한다. 생물학에서는 canonical answer가 없는 경우가 많기 때문에, 여러 과학자가 서로의 작업을 평가하는 방식이 가장 현실적인 proxy가 되었다.
그가 든 예시는 gene list를 두 활동 그룹으로 나누고, cell을 scoring한 뒤, 특정 영역 주변의 oligodendrocyte를 찾고, 두 time point에서 Spearman correlation을 계산하는 task다. 이 문제는 겉으로 보기에는 구체적으로 보이지만 실제로는 많은 선택을 열어둔다. gene list를 어떻게 나눌지, inflammatory gene을 어떻게 정의할지, 데이터를 어떻게 normalize할지, “appropriate radius”가 무엇인지, 해당 radius 안에서 count를 어떻게 집계할지 모두가 모호하다.
이런 모호성은 사람이 직접 task를 풀고 평가해보기 전에는 잘 드러나지 않는다. Workman은 evaluation이 coding과 마찬가지로, 우리가 평소 작업할 때보다 더 엄밀하게 생각하도록 강제한다고 말한다. 특히 bioinformatics에서 관습적으로 쓰이는 numerical threshold나 QC 기준은 실제로는 상당히 임의적인 경우가 많다. 모델을 가르치고 평가하려면 인간 전문가가 암묵적으로 처리하던 판단을 더 구조적이고 지속 가능한 형태로 드러내야 한다.
Long-Horizon Benchmark: 논문 결과 섹션에 가까운 작업으로 확장하기
SpatialBench의 초기 task가 분석 DAG의 작은 구성 요소를 다루었다면, LatchBio는 이후 long-horizon benchmark로 더 긴 작업을 만들기 시작했다. Workman은 실제 생물학 작업이 여러 실험 유형을 결합하고, 전체 workflow를 사용하며, 각 단계가 실험 설계와 기존 문헌, 원래 과학적 목표 속에서 해석된다고 설명한다. 따라서 짧은 task만으로는 실제 연구 능력을 충분히 측정하기 어렵다.
이 long-horizon task는 논문의 results section 전체를 재현하거나, 산업 현장에서 drug program에 대한 go/no-go decision을 내리는 과정에 가까운 형태를 목표로 한다. 강연에 따르면 이런 task 하나를 만드는 데 세 명으로 구성된 팀이 약 일주일을 쓸 정도로 비용이 크다. 그만큼 실제 생물학 연구를 평가 가능한 형태로 바꾸는 작업은 단순한 데이터셋 구축이 아니라, 과학적 판단 구조를 engineering artifact로 번역하는 일에 가깝다.
Workman이 든 예시는 tumor의 metastatic niche를 재구성하는 task다. 원발 tumor biopsy와 여러 metastatic biopsy가 있을 때, agent가 genetics와 mRNA 정보를 함께 사용해 metastatic growth를 처음 seed한 tumor 영역을 찾아낼 수 있는지를 보는 것이다. 이 작업이 가능해지면 어떤 tumor 영역이 유전적으로 더 적합하고 실제로 문제를 일으키는지 이해할 수 있으며, 나아가 targeted medicine 설계에도 연결될 수 있다. 그는 모델들이 아직 항상 이 문제를 맞히지는 못하지만 점점 접근하고 있다고 설명한다.
Rubric과 Choke Point: 긴 작업을 평가하는 새로운 방식
Long-horizon task에서는 마지막 결과만 검증하는 방식이 충분하지 않다. Workman은 끝의 verifiable reward가 “somewhat uninformative”하다고 말한다. 긴 분석 경로에는 수많은 중간 선택이 있고, 최종 실패만 보고는 모델이 어디서 잘못되었는지 알기 어렵기 때문이다.
그래서 LatchBio는 rubric과 choke point를 실험하고 있다. 분석 경로 전체를 하나의 tree처럼 본다면, 서로 다른 정상적인 경로가 지나가더라도 공통적으로 도달해야 하는 중간 node들이 존재할 수 있다. 이런 node는 분석 경로의 다양성에 대해 상대적으로 invariant하기 때문에, 긴 task에서 중간 평가 기준으로 활용할 수 있다.
다만 Workman은 이 접근이 아직 완전히 해결된 문제는 아니라고 선을 긋는다. LatchBio는 이런 rubric이 verifiable outcome과 연관되어 있다는 점을 발견했지만, 수치적으로는 느슨하게 correlated되어 있어 RL(Reinforcement Learning)이나 benchmark의 안정적 지표로 쓰기에는 더 많은 연구가 필요하다고 본다. 그럼에도 그는 verifiability structure가 앞으로 생물학 AI의 intelligence를 더 멀리 끌고 갈 핵심 구조라고 강조한다.
Spatial을 넘어 Omics, Drug Discovery, Biosecurity로
LatchBio는 이제 spatial biology에 머물지 않고 다른 omics class로 benchmark를 확장하고 있다. 강연자는 single-cell, epigenomics, RNA 관련 작업, DNA 관련 작업, 그리고 이들의 long-horizon extension을 포함해 여러 논문과 벤치마크를 공개했다고 설명한다. 또한 drug discovery의 복잡한 landscape를 discovery, development, translation 단계로 나누고, therapeutic type과 experiment type별로 체계적으로 측정하려 한다.
특히 preclinical pharmacology for small molecules에 대한 첫 benchmark를 공개했다는 점은 중요하다. 생물학 에이전트가 단순 분석 도구를 넘어 실제 신약 개발 의사결정에 영향을 줄 수 있으려면, 약물 후보가 어떤 실험적 근거를 갖고 있으며 다음 단계로 진행할 만한지 판단하는 능력이 필요하다. Workman이 말한 go/no-go decision은 바로 이 지점과 맞닿아 있다.
강연 후반에는 biosecurity도 중요한 축으로 등장한다. LatchBio는 biosecurity 분야의 회사 TwentyTwo를 인수해 Latch Biosecurity 팀을 구성했고, American Wetware와 BioSecBench-Refusal 협업을, Aclid와 BioSecBench-Surveillance 협업을 발표했다고 설명한다. STT상 “American Webware”로 들린 표현은 “American Wetware”로 교정하는 것이 적절하다.
생물학 AI 안전성의 역설: 무해한 질문은 거절하고 위험한 질문은 통과한다
Workman은 현재 생물학 영역의 model refusal이 좋지 않다고 비판한다. 예를 들어 모델에게 mitochondria에 대한 기본적인 질문을 던졌을 때도 답변을 거절하는 경우가 있는데, 이는 정상적인 과학 작업을 방해한다. 반대로 더 위험한 red team task는 오히려 덜 거절될 수 있다는 점이 문제다.
그가 든 예시는 겉으로는 GFP 같은 glowing protein을 bacteria에 cloning하려는 요청처럼 보이지만, 실제로는 toxin이거나 virus를 bootstrap하는 데 사용될 수 있는 gene일 수 있는 상황이다. 이런 요청은 표면적으로 innocuous하게 보이지만 내부 구조는 위험할 수 있다. LatchBio는 routine task와 sinister red team task를 나누어 평가했고, routine task가 red team task보다 훨씬 더 자주 refusal된다는 결과를 발견했다고 설명한다.
이 대목은 생물학 AI 안전성 평가가 단순 키워드 필터링으로 해결될 수 없다는 점을 보여준다. 안전한 과학 질문을 과도하게 차단하면 연구 생산성이 떨어지고, 위험한 요청을 놓치면 실제 biosecurity risk가 커진다. 따라서 생물학 AI에는 domain-specific evaluation이 필요하며, 모델이 무엇을 거절해야 하고 무엇을 도와야 하는지를 과학적 맥락 안에서 판별하는 능력이 중요하다.
Benchmark Flywheel: 제품, 고객, 연구소 경쟁의 순환
강연의 마지막에서 Workman은 LatchBio가 자신들을 일종의 bio research lab처럼 운영한다고 설명한다. 회사는 kit manufacturer와 협력하고, 실제 고객이 겪는 workflow 문제를 관찰하며, 이를 바탕으로 benchmark를 만든다. 그 benchmark를 frontier lab들이 사용하고 경쟁하면 모델이 개선되고, 개선된 모델은 다시 LatchBio 제품의 성능을 높인다.
이 구조는 단순한 연구 발표보다 더 강한 flywheel을 만든다. 실제 제품 사용에서 나온 문제는 benchmark의 현실성을 높이고, benchmark는 모델 개발자들이 목표로 삼을 수 있는 측정 기준을 제공한다. 모델이 좋아지면 제품이 좋아지고, 제품이 더 많이 쓰이면 더 좋은 평가 문제를 발견할 수 있다. Workman이 강조한 agentic biology의 핵심은 바로 이 반복 구조 안에서 생물학 AI가 점진적으로 실제 연구 능력에 가까워질 수 있다는 믿음이다.
마무리 / 핵심 정리
이 강연의 핵심 메시지는 생물학 AI의 발전이 단순히 더 큰 모델이나 더 많은 논문 학습만으로는 충분하지 않다는 것이다. 실제 과학 작업은 거대한 데이터, 불명확한 ground truth, 다양한 분석 경로, 전문가의 암묵적 판단이 결합된 복합적 과정이기 때문에, 모델을 발전시키려면 이 과정을 검증 가능한 환경으로 바꾸는 engineering이 필요하다.
LatchBio의 SpatialBench와 long-horizon benchmark는 그 시도 중 하나다. 짧은 분석 task에서는 deterministic grader로 성공 조건을 확인하고, 긴 연구형 task에서는 human verification과 rubric, choke point를 결합해 평가의 밀도를 높이려 한다. 아직 rubric의 수치적 신뢰도나 생물학적 ground truth의 모호성 같은 어려움은 남아 있지만, Workman은 verifiability structure가 생물학 AI 에이전트의 다음 단계를 여는 핵심 기반이 될 것이라고 본다.
결국 이 강연은 “AI가 생물학을 할 수 있는가”라는 추상적 질문을 “AI가 어떤 데이터 환경에서, 어떤 task를 수행하고, 어떤 기준으로 검증될 수 있는가”라는 실천적 질문으로 바꾼다. 그 변화가 중요하다. 생물학 AI의 미래는 단지 모델 안에 있는 지식의 양이 아니라, 모델이 실제 실험 데이터와 상호작용하며 과학적 결론에 도달하는 과정을 얼마나 엄밀하게 측정하고 개선할 수 있는지에 달려 있다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | Verifiable Environments for AI in Biology — Kenny Workman, LatchBio |
| 채널 | AI Engineer |
| 리포트 작성 | 2026-08-01 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.