MCP/CLI 없는 앱도 클로드코드로 자동화할 수 있을까?
📺 원본 영상: MCP/CLI 없는 앱도 클로드코드로 자동화할 수 있을까? 🎙️ 채널: 시민개발자 구씨 📅 정리 일자: 2026-04-04 ⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
AI 자동화 워크플로우를 구축하다 보면 반드시 부딪히는 벽이 있다. 자동화하고 싶은 서비스에 API, MCP(Model Context Protocol), CLI 같은 연동 도구가 존재하지 않는 경우다. 이 영상에서 강연자는 그 공백을 채울 수 있는 Claude Code의 두 가지 최신 기능, Claude in Chrome(브라우저 자동화)과 Computer Use(데스크톱 자동화)를 실제 시나리오에 적용해 검증한다. 단순한 기능 소개에 그치지 않고, 잘 되는 영역과 아직 한계가 있는 영역을 솔직하게 구분해 보여주며, 각 상황에 맞는 도구 선택 기준까지 제시한다.
왜 이 문제가 중요한가: API 없는 세계의 자동화
강연자가 제시하는 핵심 페인 포인트는 카카오톡이다. 국내 업무 환경에서 카카오톡은 여전히 광범위하게 쓰이지만, 개인 채팅 기능에 대한 공식 API를 제공하지 않는다. 이 때문에 매일 아침 엑셀 파일을 열어 매출 데이터를 정리하고, 요약한 내용을 복사해 팀 채팅방에 붙여넣는 작업을 사람이 직접 반복해야 하는 상황이 발생한다. 이는 비단 카카오톡만의 문제가 아니다. 웹 크롤링 역시 사이트마다 구조가 다르고 봇 차단 로직이 걸려 있어, 개별 스크립트를 제작하더라도 UI가 변경될 때마다 유지보수가 필요하다는 부담이 따른다.
강연자에 따르면, [n8n 등의 노코드 자동화 툴]로도 이런 반복 작업을 처리하기 어려운 이유가 바로 여기에 있다. 연동 도구가 없거나 코드 스크립트로 짜기 어려운 경우, 결국 사람이 마우스를 클릭하고 내용을 복사 붙여넣기하는 방식으로 처리하게 된다는 것이다. 이 문제를 해소하기 위해 Anthropic이 최근 출시한 기능들이 이 영상의 핵심 주제다.
AI 업무 자동화의 4가지 접근 방식
강연자는 자동화를 구현하는 방식을 크게 네 가지로 분류한다. 각 방식은 상호 배타적이지 않으며, 상황에 따라 조합해서 사용하는 것이 중요하다.
03:25 - Claude in Chrome과 Computer Use를 포함한 4가지 자동화 방식 분류 화면
첫 번째는 공식 연동 도구(API/MCP/CLI)를 활용하는 방식이다. Gmail, Google Calendar, Slack, Notion과 같이 공식 API나 MCP를 제공하는 서비스는 이 방식이 가장 안정적이고 빠르다. 커뮤니티에서 개발한 비공식 MCP도 적극적으로 활용할 수 있는데, 강연자는 NotebookLM의 공식 MCP는 없지만 커뮤니티가 만든 인기 있는 CLI/MCP 툴이 GitHub에 공개되어 있다는 사례를 언급한다. Claude Code는 요청이 들어왔을 때 MCP나 CLI가 존재하면 자동으로 그것을 우선 선택하며, 이것이 가장 안정적이기 때문이다.
두 번째는 코드 스크립트를 직접 제작하는 방식이다. 바이브 코딩(Vibe Coding) 트렌드와 Claude Code 같은 도구 덕분에 비개발자도 스크립트를 제작하고 Claude의 Skill 기능과 결합해 반복 실행할 수 있게 됐다. 그러나 유지보수 부담이 항상 뒤따른다는 점은 여전한 한계로 남는다.
세 번째가 Claude in Chrome, 그리고 네 번째가 Computer Use다. 이 두 기능은 API나 스크립트 없이도 AI가 직접 화면을 보고 클릭하고 입력하는 방식으로 자동화를 실현한다. Claude in Chrome은 크롬 브라우저 내부 작업에 특화되어 있고, Computer Use는 브라우저 밖의 데스크톱 앱 전체를 제어할 수 있다는 점에서 더 넓은 범위를 커버한다.
설정 방법
두 기능을 사용하기 위한 준비 과정은 크게 Claude Desktop 앱 설정과 Chrome Extension 설치, 두 단계로 나뉜다.
Claude Desktop 앱 설치 후 Settings > General로 이동하면 ‘Keep Computer Awake’, ‘Browser Use’, ‘Computer Use’ 세 가지 섹션이 있다. 강연자는 기본적으로 모두 활성화하도록 권장하며, 보안이 민감한 앱은 Computer Use 설정의 ‘Denied Apps’에 추가해 Claude의 접근을 차단할 수 있다고 설명한다.
05:43 - Claude Desktop 앱 Settings > General 화면 - Browser Use, Computer Use 활성화 옵션
Computer Use는 현재 macOS에서만 사용 가능한 Research Preview 상태다. 이 기능을 사용하려면 Mac의 Privacy & Security 설정에서 Accessibility와 Screen & System Audio Recording 권한을 Claude에게 부여해야 한다. Claude Code CLI 터미널에서는 /mcp 명령어로 Computer Use를 Enable할 수 있으며, 업데이트가 안 된 경우 /exit 후 claude update를 실행하면 된다.
Claude in Chrome은 Windows에서도 사용 가능하다. Chrome 웹스토어에서 Claude Extension을 설치하고, Claude 설정의 Browser Use에서 ‘Allow All Browser Actions’를 활성화하면 된다. 이후 Connector 섹션에서 Claude in Chrome을 Enable하면 설정이 완료된다. Claude Code 터미널에서는 /chrome 명령어로 접근해 ‘Enabled by Default’를 Yes로 설정하고 Extension과 재연결하면 동일하게 활용할 수 있다.
실전 테스트 1: 카카오톡 자동 전송 (Computer Use)
첫 번째 데모는 이 영상에서 가장 핵심적인 실험이다. Downloads 폴더의 Revenue 디렉터리에 3월 매출 엑셀 파일을 준비해두고, Claude Code에 다음과 같이 요청했다. 엑셀 파일을 열어 서비스 유형별 매출 현황을 요약하고, 카카오톡 마케팅팀 채팅방에 한 번에 정리된 메시지로 전달한 다음 원본 엑셀 파일도 첨부해달라는 것이다. 여기에 ‘Computer Use를 사용해달라’는 지시도 함께 넣었다.
Claude Code는 먼저 Bash 커맨드로 엑셀 파일을 읽어 데이터를 확인했다. 이후 카카오톡 앱 접근 권한 요청 창이 떴는데, 중요한 점은 Computer Use의 권한은 ‘Allow for this session’만 제공된다는 것이다. 세션별로만 허용할 수 있고 영구 허용이 없다. 허용을 누르자 Claude가 스크린샷을 찍어 카카오톡 앱의 위치를 파악하고, 채팅창을 찾아 마케팅팀 채팅방으로 이동했다. 파일 첨부 아이콘을 찾아 클릭하고, 엑셀 파일을 선택해 전송한 뒤, 요약 메시지도 붙여넣기로 전송하는 전 과정을 자동으로 수행했다.
10:32 - 카카오톡 Computer Use 데모 시작 - 클로드가 카카오톡 앱을 스크린샷으로 인식하며 조작하는 화면
기술적으로는 성공했지만, 강연자는 몇 가지 명확한 한계를 지적한다. 첫째, 속도가 매우 느리다. 매 단계마다 스크린샷을 찍어 상태를 확인하고, 오작동 시 다시 스크린샷을 찍으며 수정하는 방식이다 보니 편집된 영상에서도 체감될 만큼 긴 시간이 소요된다. 둘째, 토큰 소모가 크다. 스크린샷 기반의 시각적 판단이 반복되면서 토큰이 빠르게 소진된다. 셋째, 작업이 진행되는 동안 다른 앱 창을 다 숨기고 카카오톡 창만 전면에 띄우기 때문에, 듀얼 모니터 환경이 아닌 경우 동시에 다른 작업을 하기 어렵다.
강연자는 PC 앞에서 직접 작업하는 상황이라면 요약 결과를 받아서 수동으로 카카오톡에 붙여넣는 편이 훨씬 효율적이라고 솔직하게 인정한다. Computer Use의 진정한 활용 가치는 다음 섹션에서 소개하는 원격 제어 시나리오에서 드러난다.
실전 테스트 2: 웹사이트 UI/UX 분석 (Claude in Chrome)
두 번째 데모에서는 특정 사이트 URL을 제공하고, 메인 페이지와 각 메뉴 섹션을 순서대로 확인한 뒤 UI/UX 강점과 약점을 분석해 가상의 회사 ‘GooC Company’의 AI 자동화 웹사이트 제작에 참고할 인사이트를 정리해달라고 요청했다. 이번에는 어떤 기능을 쓰라는 지정 없이 Claude가 스스로 판단하게 했다.
Claude는 브라우저 제어가 필요한 작업임을 파악하고 자동으로 Claude in Chrome을 선택했다. 크롬 브라우저가 자동으로 실행되어 해당 사이트로 이동했고, 스크롤을 하며 섹션별로 스크린샷을 찍어 내용을 파악한 뒤 사이트 구조, 각 페이지의 역할, UI/UX 강점과 약점, 제작 인사이트를 정리해 제공했다.
14:01 - 웹사이트 UI/UX 분석 데모 - Claude in Chrome이 사이트를 자동 탐색하며 스크린샷 찍는 화면
강연자는 이 사례가 벤치마킹에 특히 유용하다고 강조한다. 경쟁사나 참고하고 싶은 웹사이트별로 크롤링 스크립트를 개별 제작하는 것은 번거롭지만, Claude in Chrome을 활용하면 URL만 주면 Claude가 직접 들어가서 클릭하고 스크린샷을 찍으며 인사이트를 뽑아준다. Computer Use와 비교했을 때 Claude in Chrome이 갖는 중요한 이점도 언급한다. 브라우저 탭에서만 작업이 이루어지기 때문에 다른 앱 창을 숨기지 않으며, 사용자는 다른 작업을 병행하면서 Claude가 백그라운드에서 브라우저를 탐색하는 것을 확인할 수 있다.
실전 테스트 3: X(트위터) 트렌딩 크롤링 (Claude in Chrome)
세 번째 데모는 SNS처럼 봇 차단이 강한 사이트에서도 Claude in Chrome이 유효한지를 검증한다. X(구 Twitter)의 Explore 탭에 들어가 ‘Claude Code’를 검색하고, 탑 순으로 상위 10개 포스트를 확인해 현재 Claude Code 관련 주요 논의 주제를 5가지로 요약해달라고 요청했다.
Claude in Chrome을 활용하는 방식의 핵심 장점이 여기서 드러난다. 크롤링 스크립트나 API가 없어도, 이미 로그인된 브라우저 세션을 그대로 이용하기 때문에 로그인 장벽 없이 접근할 수 있다. X.com을 열자 로그인된 상태의 사이트가 바로 떴고, Claude가 검색어를 입력하고 스크롤하며 상위 포스트 내용을 확인했다.
16:55 - X(트위터) Explore 탭에서 Claude Code 트렌딩 포스트 크롤링 화면
강연자는 이 과정에서 X의 트렌딩 결과를 함께 확인했는데, 당시 가장 핫한 주제는 Anthropic의 npm 패키지에서 Claude Code 소스맵이 노출돼 전체 소스 코드가 유출된 사건이었다고 한다. 만우절 시기와 겹쳐 의도된 보안 훈련이라는 설도 돌았지만 Anthropic은 실수였다고 공식 발표했으며, 유출된 소스를 기반으로 GitHub에 다수의 파생 프로젝트가 등장하는 등 커뮤니티에서 큰 화제가 되었다는 내용도 요약에 포함되었다. 강연자는 이처럼 X에 직접 들어가지 않아도 원하는 트렌딩 정보를 자동으로 수집하고 정리하는 데 이 방식이 유용하다고 평가했다.
실전 테스트 4: 네이버 지도 크롤링 - 한계 사례
네 번째 데모는 의도적으로 한계를 보여주기 위해 설계됐다. 음식점 창업을 가정하고, 네이버 지도를 열어 ‘성수동 맛집’을 검색해 상위 10개 음식점 정보를 엑셀 파일로 정리해달라고 요청했다.
결과는 실패였다. Claude in Chrome이 네이버 지도에 접근을 시도했지만 Safety Restriction으로 차단됐다. 네이버 지도처럼 보안 제한이 강한 서비스는 Claude in Chrome으로도 손쉽게 접근할 수 없다는 것이다. Claude는 이후 웹 검색 등 다른 방법을 자율적으로 시도했지만, 강연자는 이를 중단시키고 Playwright MCP를 활용하는 방식으로 전환했다.
19:41 - 네이버 지도 접근 실패 화면 - Safety Restriction 메시지
Playwright MCP를 통해 별도의 스크립트를 작성해 실행하자, 렌더링 문제로 인한 스크립트 수정을 한 차례 거친 뒤 성수동 맛집 상위 10개 목록을 정리하는 데 성공했다. 이 사례가 시사하는 바는 명확하다. Claude in Chrome은 모든 웹사이트에 통하는 만능 도구가 아니며, 보안이 강한 사이트에서는 코드 스크립트 방식으로 넘어와야 한다. 그리고 그 전환점을 판단하는 기준이 중요하다.
Schedule 기능과의 조합
지금까지 소개한 시나리오는 모두 데스크톱에서 수동으로 요청하는 방식이었다. 강연자는 여기서 한 걸음 나아가, 반복 작업을 완전히 자동화하기 위한 Schedule 기능과의 조합을 소개한다.
Claude Code의 Scheduled 탭에서 New Task > Local Task를 생성하면 특정 시간에 자동으로 작업을 실행할 수 있다. 강연자는 ‘Claude in Chrome을 활용해 X에서 Claude Code 관련 트렌딩 포스트를 요약해달라’는 작업을 매일 오전 10시에 실행되도록 설정했다. 이렇게 설정하면 지정된 시간이 되면 자동으로 X를 방문해 요약 결과를 마크다운 파일로 저장해준다.
단, 강연자는 Computer Use는 Schedule과 조합이 불가능하다는 중요한 제약을 명확히 한다. Computer Use의 앱 접근 권한은 세션별 허용만 지원하는데, Schedule이 실행될 때마다 새로운 세션이 열리기 때문에 매번 허용 버튼을 눌러야 한다. 이는 완전 자동화의 의미를 무너뜨린다. 대안으로 Loop 기능을 소개하는데, Loop는 같은 세션 내에서만 작동하므로 세션 권한 문제를 우회할 수 있다. 다만 최대 약 1주일만 유지된다는 제약이 있어, 밥 먹는 30분 동안 30분 단위로 특정 데스크톱 앱을 조작하는 작업 같이 단기적인 반복 업무에 적합하다.
보다 복잡한 워크플로우나 출력 형식에 대한 구체적인 가이드라인이 있는 경우, 강연자는 Skill을 제작해 Schedule과 조합하는 방식을 권장한다.
Dispatch 기능과의 조합: 원격 제어 시나리오
Computer Use의 진정한 활용 가치는 원격 제어 시나리오에서 나타난다. 강연자는 이를 Dispatch 기능과의 조합으로 보여준다.
Dispatch는 iPad나 iPhone 같은 모바일 기기에서 데스크톱 PC에 있는 Claude Code에 작업을 원격으로 요청할 수 있는 기능이다. 예를 들어 외출 중에 사무실 데스크톱에 저장된 마크다운 파일을 찾아 카카오톡 채팅방으로 전송해달라고 요청하면, 데스크톱의 Claude가 이를 수신하고 Computer Use를 활용해 카카오톡을 조작해 파일을 전송한다.
Dispatch를 사용할 때 Computer Use의 세션 권한 문제는 원격으로도 해결 가능하다고 강연자는 설명한다. 데스크톱 앱에 표시되는 권한 허용 창을 모바일에서 원격으로 승인할 수 있어, 사무실에 직접 있지 않아도 된다. 강연자는 Anthropic도 Computer Use의 주요 활용 케이스로 이 Dispatch 조합 방식을 주로 소개하고 있다고 언급했다. 즉, Computer Use는 PC를 직접 쓰는 상황보다 내가 자리를 비운 사이 PC에 있는 앱을 원격으로 조작해야 하는 시나리오에서 더 빛난다.
설정에서는 ‘Keep Awake’ 활성화로 데스크톱 앱이 항상 깨어 있도록 하고, ‘Allow All Browser Actions’와 Computer Use를 체크해두면 Dispatch에서 요청이 들어올 때 즉시 처리할 준비가 된다.
마무리: 도구 선택 기준과 총평
강연자는 영상 말미에 상황별로 어떤 도구를 선택할지에 대한 명확한 기준을 제시한다. 이 기준은 영상 전체를 관통하는 핵심 결론이기도 하다.
API, MCP, CLI가 존재하는 서비스라면 그것을 그대로 활용하는 것이 가장 빠르고 정확하다. 브라우저에서 검색하거나 데이터를 수집하고 입력하는 작업을 자동화하고 싶다면 Claude in Chrome을 먼저 고려하는 것이 좋다. 브라우저가 아닌 데스크톱 앱을 반복 조작해야 한다면 Loop와 Computer Use 조합이 현재로서는 최선이다. 브라우저 작업을 매일 정해진 시간에 반복해야 한다면 Claude in Chrome과 Schedule을 조합하면 되고, 외출 중에 데스크톱 작업을 원격으로 위임하고 싶다면 Dispatch와 Computer Use가 적합하다. 마지막으로 토큰을 아끼면서 안정적으로 반복 작업을 실행하고 싶다면 바이브 코딩으로 코드 스크립트를 제작하고 Skill로 패키징해 Scheduler와 연동하는 방식이 가장 효율적이다.
28:41 - 도구 선택 기준 정리 - 상황별 최적 자동화 방식 요약
강연자의 총평은 균형 잡혀 있다. “만능은 아니지만 가능성은 충분히 보여줬다”는 표현이 핵심이다. Computer Use는 세션별 권한 허용 문제가 해결된다면 꽤 복잡한 반복 자동화 워크플로우에도 유용하게 쓰일 수 있을 것으로 기대한다. Skill과 조합해 파일 다운로드, 폴더 이동, 데이터 분석, 결과 저장까지 전 과정을 패키지화하면 현재도 상당히 복잡한 워크플로우를 자동화할 수 있다는 가능성도 언급한다. Claude in Chrome은 이미 베타 단계에서도 실용적으로 활용할 수 있는 툴이라는 평가다. Windows에서도 지원되고, 브라우저 기반의 복사-붙여넣기 반복 업무를 가진 사람이라면 Schedule과 조합해 바로 적용해볼 수 있다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | MCP/CLI 없는 앱도 클로드코드로 자동화할 수 있을까? |
| 채널 | 시민개발자 구씨 |
| 리포트 작성 | 2026-04-04 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.