I let Codex control my browser so I don’t have to
📺 원본 영상: I let Codex control my browser so I don’t have to
🎙️ 채널: How I AI
📅 정리 일자: 2026-07-23
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료, 코드, 브라우저 화면, 스프레드시트 등은 포함되지 않을 수 있습니다.
개요
이 영상은 Codex의 browser use와 computer use가 단순한 데모 기능을 넘어, 실제 업무와 개인 생활의 반복 작업을 줄이는 실행 도구로 어떻게 쓰일 수 있는지를 보여준다. 강연자는 웹 애플리케이션 QA, 사용자 페르소나 기반 제품 리서치, LinkedIn 메시지 처리, 온라인 쇼핑, 문서 및 스프레드시트 작성까지 여러 사례를 통해 “AI가 직접 컴퓨터를 조작한다”는 변화의 의미를 설명한다.
핵심은 AI가 단순히 답변을 생성하는 단계에서 벗어나, 브라우저를 열고, 버튼을 클릭하고, 폼을 채우고, 화면을 보며 판단하는 방식으로 디지털 작업을 수행한다는 점이다. 강연자는 이 기능이 특히 손이 항상 바쁘거나, 반복적이고 지루한 웹 작업을 처리해야 하거나, 사람이 놓치기 쉬운 엣지 케이스를 검증해야 하는 상황에서 강력하다고 강조한다.
브라우저를 조작하는 AI, 챗봇에서 가상 동료로
강연자는 browser use와 computer use를 “AI가 내 컴퓨터와 브라우저를 직접 사용할 수 있게 하는 기능”으로 설명한다. 기존의 AI 챗봇이 텍스트를 입력받고 텍스트를 반환하는 방식이었다면, 이 기능은 마우스와 키보드를 조작하면서 실제 웹사이트와 애플리케이션을 탐색한다. 강연자는 이를 가상 동료가 사용자의 키보드 앞에 앉아 일을 처리하는 것에 비유하며, 처음에는 다소 무섭게 느껴질 수 있지만 실제로는 업무와 개인 생활의 디지털 부담을 크게 줄여 주었다고 말한다.
이 기능을 사용하기 위해서는 데스크톱 앱과 브라우저 확장 프로그램이 함께 필요하다고 설명한다. 영상에서는 ChatGPT 데스크톱 앱 또는 Claude 데스크톱 앱을 예로 들고, Chrome에서 공식 browser extension을 설치하는 흐름을 언급한다. STT상 “quad browser extension”으로 들리는 부분은 문맥상 Claude browser extension을 의미하는 것으로 보이며, 강연자는 공식 확장 프로그램을 설치해야 한다고 주의를 준다.
흥미로운 지점은 강연자가 AI native browser 자체보다, Codex나 Claude 같은 도구를 통해 직접 browser use와 computer use를 호출하는 방식을 선호한다는 점이다. Perplexity의 Comet이나 ChatGPT의 Atlas 같은 AI 브라우저가 등장했지만, 강연자의 경험상 Codex가 컴퓨터 제어 능력에서 특히 뛰어났다고 평가한다. 여기서 Codex는 코드 작성 에이전트에 머무르지 않고, 실제 브라우저를 조작하며 개발과 운영 사이의 반복 작업을 이어주는 실행 레이어로 제시된다.
개발자를 위한 첫 번째 사례, 브라우저 기반 QA 자동화
강연자가 가장 먼저 보여준 사례는 웹 애플리케이션의 onboarding flow를 Codex에게 직접 테스트하게 하는 것이다. 예시로 등장하는 제품은 ChatPRD이며, 강연자는 사용자의 프로필을 단계별로 입력하는 onboarding flow를 대상으로 usability와 mobile responsiveness를 검증하도록 Codex에 지시한다. 단순히 백엔드 테스트나 프론트엔드 테스트 코드를 작성하는 것이 아니라, 실제 사용자가 하듯 브라우저에서 클릭하고 입력하고 화면 크기를 바꿔 보며 “쓸 수 있는지”를 확인하는 방식이다.
05:45 - Codex에게 onboarding flow의 usability와 mobile responsiveness를 테스트하고 스크린샷과 Google Spreadsheet를 만들라고 지시하는 화면
이 접근이 중요한 이유는 전통적인 자동화 테스트가 놓치기 쉬운 사용성 문제를 발견할 수 있기 때문이다. 강연자는 smoke test나 backend test도 필요하지만, 실제 제품에서는 “사용자가 이 흐름을 자연스럽게 통과할 수 있는가”라는 질문이 별도로 존재한다고 말한다. Codex의 browser use는 사이드 브라우저 창을 열고 onboarding flow를 따라가며, 스크린샷을 찍고, 이슈를 정리하고, 심지어 Google Spreadsheet로 결과를 남기는 방식으로 사람의 QA 과정을 대체하거나 보조한다.
강연자는 Codex에서 computer use를 호출하는 방식도 함께 설명한다. @browser는 Codex 내부의 사이드 브라우저 창을 사용하고, @Chrome은 Chrome extension을 통해 실제 Chrome을 조작하며, @computer는 전체 컴퓨터 조작에 가깝다고 설명한다. 이 구분은 작업 범위를 어디까지 열어줄 것인지와 관련되어 있기 때문에, 로컬호스트에 로그인된 상태의 웹 앱을 테스트할 때는 @browser처럼 제한된 브라우저 컨텍스트를 쓰는 것이 실용적이다.
사람이 놓치는 실패 경로를 AI가 집요하게 밟는다
강연자가 browser use 기반 QA에서 가장 높게 평가하는 부분은 “exhaustive”, 즉 사람보다 더 집요하고 체계적으로 테스트한다는 점이다. 사람은 보통 happy path를 중심으로 테스트한다. 필수 항목을 모두 입력하고, 다음 버튼을 누르고, 정상적으로 이동하는지만 확인한 뒤 안심하기 쉽다. 그러나 AI는 지시에 따라 팀 가입, 개인 가입, 빈 필드, 에러 상태, 드롭다운, viewport 변경 등 사람이 피곤해서 생략하기 쉬운 경로까지 반복적으로 탐색한다.
실제로 Codex는 onboarding flow에서 blocking issue를 발견한다. 특정 페이지에서 아무 선택도 하지 않고 Continue를 누를 수 있지만, 필수 필드 검증 메시지가 없어 사용자는 앞으로 나아가지 못하는 상태에 빠진다. 강연자는 이 버그가 오래된 onboarding flow에 남아 있었던 이유를, 자신이 항상 필수 버튼을 누르는 정상 경로로만 테스트했기 때문이라고 설명한다. 이 사례는 AI 브라우저 조작이 단순 자동 클릭이 아니라, 사용자의 실수와 실패 상태까지 검증하는 QA 파트너가 될 수 있음을 보여준다.
09:32 - 필수 선택값 없이 Continue를 누를 수 있어 navigation blocker가 발생하는 onboarding flow 문제 화면
모바일 테스트에서도 같은 장점이 드러난다. 강연자는 사람이 브라우저 창을 조금 줄여 보고 대충 동작 여부를 확인하는 수준에서 끝내기 쉽지만, Codex는 overflow, touch target, accessibility, mobile viewport별 레이아웃 문제를 더 조직적으로 점검한다고 말한다. 특히 화면 오른쪽 영역에서 responsive design 문제가 있을 가능성을 언급하면서, 이것이 Codex 내부 브라우저 환경의 artifact인지 실제 제품 문제인지는 확인이 필요하다고 덧붙인다. 이처럼 AI가 발견한 결과도 무조건 확정하지 않고, 재현성과 환경 요인을 함께 검토해야 한다는 점이 실무적으로 중요하다.
08:42 - Codex가 viewport 크기를 변경하며 responsive design 문제를 확인하는 브라우저 테스트 화면
QA 결과를 스프레드시트로 남기는 이유
Codex는 테스트를 마친 뒤 11개의 이슈를 정리했고, 그중 하나는 high severity navigation blocker로 분류되었다. 강연자는 여기서 browser use의 가치를 단순히 “문제를 찾았다”에서 끝내지 않는다. Codex가 이슈 목록을 Google Spreadsheet로 만들고, 각 이슈에 재현 단계, viewport 정보, 문제 설명, 개선 방법, 스크린샷을 함께 정리했기 때문에 이후 수정 작업의 출발점이 된다는 점을 강조한다.
10:41 - Codex가 desktop과 mobile 테스트를 마친 뒤 11개 이슈와 high severity blocker를 정리한 결과 화면
이 흐름은 개발팀에서 실제로 유용하다. QA 리포트가 말로 흩어지는 대신, 에이전트와 사람이 함께 볼 수 있는 tracker로 정리되면 우선순위 지정과 수정 배정이 쉬워진다. 강연자는 이 spreadsheet를 다시 여러 에이전트에게 넘겨 수정 작업을 시작할 수 있다고 설명하는데, 이는 browser use가 단발성 자동화가 아니라 agentic development workflow의 일부로 연결될 수 있음을 보여준다.
특히 스크린샷이 포함된 점은 중요하다. 텍스트만 있는 버그 리포트는 UI 문제의 맥락을 잃기 쉽지만, 화면 캡처가 함께 있으면 수정 전후 비교가 가능해지고 재현 가능성도 높아진다. 강연자가 보여준 방식은 “AI가 웹사이트를 테스트하고, 문제를 구조화하고, 후속 개발 작업의 입력물까지 만든다”는 하나의 닫힌 루프에 가깝다.
11:52 - Google Spreadsheet에 이슈, 재현 정보, remediation, 스크린샷이 함께 정리된 QA tracker 화면
| 구분 | 강연자가 언급한 내용 |
|---|---|
| 테스트 대상 | ChatPRD onboarding flow |
| 테스트 범위 | desktop, mobile, usability, responsiveness |
| 발견 결과 | 총 11개 이슈 |
| 주요 문제 | high severity navigation blocker 1건 |
| 산출물 | Google Spreadsheet, 스크린샷, 재현 단계, remediation 제안 |
이 표의 수치는 영상 음성에서 언급된 내용만을 바탕으로 정리한 것이다. 화면에 표시된 각 이슈의 세부 항목은 STT에 포함되어 있지 않으므로, 구체적인 이슈명이나 셀 내용은 원본 영상을 통해 확인해야 한다.
페르소나 기반 제품 리서치, AI가 사용자의 입장으로 앱을 써본다
두 번째 builder use case는 더 흥미롭다. 강연자는 남편 EJ Lawless가 제안한 방식이라며, browser use를 활용해 AI가 특정 사용자 페르소나를 “연기”하면서 애플리케이션을 사용하고 피드백을 남기는 방법을 소개한다. 여기서 AI는 단순히 기능을 클릭하는 테스트봇이 아니라, 제품 관리자, 엔지니어, 팀 리더라는 서로 다른 역할의 관점에서 ChatPRD를 사용한다.
강연자가 입력한 프롬프트는 의도적으로 상세한 절차를 제공하지 않는다. 제품 관리자는 회의 직후 빠르게 PRD를 만들어야 하는 사람으로, 엔지니어는 이미 만들어진 PRD를 technical spec과 prototype으로 전환하려는 사람으로, 팀 리더는 팀이 ChatPRD를 어떻게 쓰는지 파악하려는 사람으로 설정된다. 이후 Codex는 각 페르소나의 흐름을 따라가며 friction point, delight point, 개선 아이디어를 research style critique 형태로 문서화하도록 지시받는다.
강연자는 자신이 synthetic user에 크게 의존하는 편은 아니라고 말하면서도, browser use와 결합된 페르소나 테스트는 꽤 유용하다고 평가한다. 과거에는 “당신은 훌륭한 제품 관리자입니다” 같은 역할 프롬프트가 텍스트 생성에 머물렀다면, 이제는 AI가 실제 제품을 조작하며 그 역할의 관점에서 경험을 평가할 수 있기 때문이다. 이는 제품 리서치의 대체재라기보다, 사용자가 겪을 법한 마찰을 빠르게 탐색하는 보조 도구에 가깝다.
신선한 시선이 드러낸 구조적 마찰
페르소나 테스트에서 Codex는 PM이 만든 PRD를 엔지니어가 이어받는 handoff 과정에서 구조적 문제를 발견한다. STT상 “chat purity”로 들리는 부분은 문맥상 ChatPRD를 의미하며, 강연자는 ChatPRD에서 하나의 문서를 만들 수는 있지만 다른 thread에서 해당 문서를 자연스럽게 mention하거나 reference하는 경험이 부족하다고 설명한다. 이 문제는 실제로 제품팀이 고민 중인 지점이라고 덧붙이며, AI가 기대한 사용 방식과 현재 제품 구조 사이의 불일치가 드러난 사례로 제시한다.
16:34 - PM에서 engineering handoff로 넘어가는 페르소나 테스트 중 문서 참조 구조의 friction point가 드러나는 화면
이 장면은 browser use의 가치가 단순 기능 검증을 넘어선다는 점을 보여준다. 사용자가 어떤 mental model을 가지고 제품을 사용할지, 특정 역할이 다음 단계에서 무엇을 기대할지, 그리고 그 기대가 인터페이스와 충돌하는 순간이 어디인지 AI가 탐색해 준다. 강연자는 이를 “fresh eyes”라고 표현하지만, 실제로는 AI가 페르소나와 브라우저 조작을 결합해 제품의 흐름을 새롭게 읽어낸 것이다.
또 다른 피드백은 loading screen과 failure state에 관한 것이었다. Codex는 문서 작성 중 로딩 화면이 느리고 opaque하며, 인터페이스가 현재 무슨 일이 일어나는지 명확히 보여주지 않는다고 지적했다. 강연자는 이것이 로컬 환경의 문제인지 실제 제품 문제인지는 확인이 필요하다고 말하면서도, 실패 상태에서도 사용자가 상황을 이해할 수 있어야 한다는 점에서 좋은 피드백이라고 평가한다.
업무 자동화 사례, LinkedIn 메시지를 대신 읽고 분류하기
강연자는 builder use case 이후, 보다 일상적인 생산성 사례로 LinkedIn 메시지 처리를 소개한다. 많은 연결 요청과 메시지가 쌓이는 상황에서, Codex에게 최근 읽지 않은 메시지를 확인하고 중요한 메시지는 답장하며 나머지는 답장 방향을 메모하도록 맡기는 방식이다. 강연자는 LinkedIn에 공식 MCP나 API가 없기 때문에 브라우저를 통한 비공식 조작 경로를 사용한다고 설명한다.
이 사례에서 중요한 것은 AI에게 완전한 자율권을 주기보다, 중요도와 응답 방식에 대한 기준을 함께 전달한다는 점이다. 예를 들어 ChatPRD나 podcast와 관련해 매우 중요한 메시지는 직접 답장하고, 단순한 감사 메시지는 친절하게 응답하지 않아도 된다고 지시한다. 이는 browser use가 사람의 커뮤니케이션을 완전히 대체하기보다는, 쌓인 메시지를 선별하고 처리 비용을 줄이는 방식으로 작동한다는 점을 보여준다.
강연자는 모델 선택과 effort level도 함께 언급한다. LinkedIn 답장처럼 상대적으로 단순한 작업에는 최고 수준의 추론 모델과 high effort 설정이 과할 수 있으며, 더 빠르고 가벼운 모델을 medium effort로 사용하는 편이 효율적일 수 있다고 말한다. 이 대목은 agentic workflow에서 모델 성능뿐 아니라 작업 성격에 맞는 비용, 속도, 정확도 균형이 중요하다는 점을 시사한다.
개인 쇼핑까지 확장되는 computer use
마지막 주요 사례는 Hawaii 여행을 앞두고 Free People 사이트에서 sale item 10개를 골라 장바구니에 담게 하는 개인 쇼핑 workflow다. 강연자는 @Chrome을 사용해 Chrome browser use를 호출하고, 사이즈는 medium, 날씨는 7월 말 Hawaii, 조건은 출산 후 6개월 된 breastfeeding mom에게 편하고 수유 친화적인 옷으로 설정한다. 여기서 AI는 단순 검색이 아니라 제품 페이지를 탐색하고, 필터링하고, 사이즈를 선택하고, 장바구니에 담는 실제 브라우저 작업을 수행한다.
이 사례는 browser use가 왜 일반적인 웹 자동화와 다른지 잘 보여준다. 온라인 쇼핑은 페이지 구조가 복잡하고, 필터와 사이즈 옵션이 많으며, 사용자의 취향과 상황을 동시에 고려해야 한다. 강연자는 초반에 AI가 mini skirt를 고른 것을 보고 다소 의심하지만, 최종적으로는 maxi dress, skirt set, pants, shorts, T-shirt, blouse, button-down, V-neck 등 다양한 항목을 장바구니에 담았고 꽤 만족스러운 결과를 얻었다고 말한다.
25:47 - Free People 쇼핑 사례에서 Codex가 10개의 sale item을 장바구니에 담고 총액과 상품 구성을 보여주는 화면
다만 이 과정에서 bot detection 또는 verification 문제가 나타난다. Free People 사이트가 사용자를 agent로 인식한 듯한 장면이 나오며, 강연자는 이럴 때 사용자가 “human verification layer”가 되어야 한다고 설명한다. 이는 computer use가 강력하더라도, 로그인, 결제, CAPTCHA, 민감한 권한 요청 같은 경계에서는 사람이 개입해야 한다는 현실적인 한계를 보여준다.
반복적인 웹 작업의 새로운 처리 방식
강연자는 추가로 browser use와 computer use가 유용한 작업들을 언급한다. procurement form처럼 귀찮은 양식을 채우거나, 자녀 캠프 등록처럼 낡은 웹사이트에서 반복 입력이 필요한 작업을 처리하는 데 특히 잘 맞는다고 설명한다. 이런 작업은 고도의 창의성보다 인내와 정확한 클릭이 필요한데, 바로 그 지점에서 AI가 사람의 시간을 크게 줄여줄 수 있다.
더 기술적인 사례로는 Mac의 iPhone Mirroring을 통해 computer use가 사실상 휴대폰도 조작할 수 있다는 이야기가 나온다. 강연자는 외부에 있는 동안 집의 Mac mini와 네트워크 설정에 접근해야 했고, Wi-Fi 관리 소프트웨어가 휴대폰에 있었기 때문에 iPhone Mirroring을 열어 Codex가 설정을 변경하게 했다고 설명한다. 여기에는 firewall gateway, router 설정, SSH 접속, 작업 후 port를 닫는 흐름이 포함되며, 보안상 매우 민감한 작업이므로 실제 적용 시 권한과 감사 가능성을 신중히 관리해야 한다.
또한 Google Docs와 Google Sheets 생성 작업에서도 browser use를 활용한다고 말한다. MCP나 plugin이 접근 권한 문제에 부딪히거나 원하는 방식으로 동작하지 않을 때, 브라우저를 열어 실제 UI에서 문서와 스프레드시트를 만들게 하면 해결되는 경우가 있다는 것이다. 이 발언은 도구 통합 API가 완벽하지 않은 현실에서, 브라우저 자체가 일종의 universal interface로 기능할 수 있음을 보여준다.
보안과 통제, 편의성 뒤에 남는 질문
강연자는 이 기능이 “life changing”할 만큼 유용하다고 평가하지만, 동시에 browser use와 computer use는 필연적으로 보안과 프라이버시 질문을 동반한다. AI가 브라우저를 조작한다는 것은 로그인된 서비스, 개인 메시지, 결제 페이지, 사내 도구, 로컬 파일 시스템 근처까지 접근할 수 있음을 의미한다. 따라서 어떤 권한을 열어줄지, 어떤 단계에서 승인을 요구할지, 어떤 작업은 사람이 직접 확인해야 할지에 대한 운영 원칙이 필요하다.
특히 LinkedIn 메시지 답장이나 쇼핑 장바구니 생성처럼 개인 데이터와 연결된 작업에서는 AI가 잘못된 메시지를 보내거나 부적절한 상품을 선택할 가능성이 있다. 강연자의 workflow에서도 결제는 하지 않고 장바구니에 담는 수준에서 멈추며, 검증이 필요한 순간에는 사람이 개입한다. 이는 실무적으로도 좋은 기준이다. AI에게 반복 탐색과 초안 생성, 후보 정리를 맡기되, 외부로 irreversible action이 나가거나 금전 거래가 발생하는 지점에서는 사람이 최종 결정을 내리는 구조가 바람직하다.
개발 workflow에서도 같은 원칙이 적용된다. Codex가 QA 이슈를 찾고 spreadsheet를 만들고 remediation을 제안할 수는 있지만, 그것이 항상 실제 버그라는 뜻은 아니다. 로컬 환경 artifact, 브라우저 extension 동작, mock data 상태, viewport 설정 같은 요인이 결과에 영향을 줄 수 있으므로, 사람이 재현성과 심각도를 검토한 뒤 수정해야 한다.
마무리 / 핵심 정리
이 영상의 핵심 메시지는 “모든 것이 컴퓨터 안에서 일어난다면, AI가 컴퓨터를 조작할 수 있는 순간 업무 방식 자체가 바뀐다”는 것이다. 강연자는 Codex의 browser use와 computer use를 통해 QA 자동화, 페르소나 기반 제품 리서치, LinkedIn 메시지 처리, 온라인 쇼핑, 문서 작성, 심지어 휴대폰 미러링 기반 네트워크 설정까지 다양한 작업을 수행한다. 이 사례들은 AI가 단순히 생각을 돕는 도구에서, 실제 디지털 환경을 움직이는 실행 도구로 이동하고 있음을 보여준다.
가장 실무적인 인사이트는 좋은 use case를 찾는 것이 기술 자체보다 중요하다는 점이다. 웹 앱 QA처럼 사람보다 AI가 더 집요하게 반복할 수 있는 작업, 페르소나 테스트처럼 신선한 시선이 필요한 작업, 쇼핑이나 폼 입력처럼 귀찮지만 판단 기준은 명확한 작업이 특히 잘 맞는다. 반대로 보안, 결제, 메시지 발송, 시스템 설정처럼 되돌리기 어렵거나 민감한 작업에서는 사람이 승인과 검증의 레이어로 남아야 한다.
강연자는 frontier model을 지나치게 세세하게 지시하기보다, 때로는 “QA the onboarding flow”처럼 적당히 열어둔 프롬프트가 더 나은 결과를 낳는다고 말한다. 이는 최신 AI 에이전트가 단순 명령 수행기가 아니라, 계획을 세우고 화면을 해석하고 결과를 구조화하는 협업자로 진화하고 있음을 보여준다. 결국 browser use와 computer use의 가치는 “내가 컴퓨터 앞에 앉아 있지 않아도 일이 진행된다”는 데 있으며, 이 변화는 개인 생산성과 소프트웨어 개발 workflow 양쪽에서 큰 의미를 갖는다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | I let Codex control my browser so I don’t have to |
| 채널 | How I AI |
| 영상 길이 | 약 27분 34초 |
| 리포트 작성 | 2026-07-23 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.