Claude Computer Use - AI가 컴퓨터를 직접 조종하는 시대의 개막
📺 원본 영상: 드디어 클로드를 오픈클로로 만들어버린 앤트로픽. 오늘 나온 따끈따끈한 업데이트! Claude Computer Use
🎙️ 채널: 코드팩토리
📅 정리 일자: 2026-03-24
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
Anthropic이 영상 제작 시점 기준 불과 9시간 전에 출시한 Claude Computer Use는 AI가 사용자의 컴퓨터에서 마우스와 키보드를 자유롭게 제어할 수 있게 해주는 혁신적인 기능이다. 단순히 브라우저 안에서만 동작하는 웹 자동화 도구와는 달리, 이 기능은 컴퓨터에 설치된 사실상 모든 애플리케이션에 접근 권한을 부여받아 동작한다. 공개 직후 수천만 조회수를 기록할 만큼 전 세계적인 주목을 받은 이 업데이트는, AI 에이전트(AI Agent) 분야의 패러다임 전환을 알리는 신호탄으로 평가된다.
Claude Computer Use란 무엇인가
Claude Computer Use는 Anthropic이 공개한 리서치 프리뷰(Research Preview) 기능으로, 사용자의 컴퓨터를 Claude가 직접 제어할 수 있도록 설계되었다. 기존의 브라우저 자동화 도구들—Playwright나 Chrome 확장 프로그램 기반의 웹 검색 자동화—과 결정적으로 다른 점은 접근 범위에 있다. 브라우저에 국한되지 않고 컴퓨터에 설치된 Discord, 카카오톡, iOS 시뮬레이터 등 모든 네이티브 애플리케이션을 대상으로 동작할 수 있다는 것이다.
강연자는 이 기능의 작동 원리를 다음과 같이 설명한다. Claude는 현재 화면의 스크린샷을 촬영하고, 그 이미지를 분석하여 어떤 버튼이나 입력 필드가 화면상의 어느 XY 좌표에 위치하는지 파악한다. 그 좌표를 기반으로 마우스 클릭이나 키보드 입력을 수행하는 방식으로 동작하기 때문에, 특정 앱의 API나 접근성 트리(Accessibility Tree)에 의존하지 않아도 되고, 이론적으로는 화면에 렌더링되는 모든 UI를 조작할 수 있다.
사용 조건 및 초기 설정
현재 Claude Computer Use는 사용 가능한 환경에 제약이 있다. 강연자에 따르면 macOS에서만 동작하며 Windows는 아직 지원되지 않는다. 요금제 측면에서도 무료 티어와 Enterprise, Team 플랜에서는 사용이 불가능하고, 개인 Pro 또는 Max 플랜 가입자만 이용할 수 있다.
초기 설정 과정은 다음과 같다. Claude Desktop 앱을 최신 버전으로 업데이트한 후, 앱 설정(Settings)의 General 탭에서 “Computer Use” 옵션을 찾아 활성화해야 한다. 업데이트 후에도 옵션이 보이지 않는다면 앱을 삭제 후 재설치하거나, 로그아웃 후 재로그인하면 해당 옵션이 표시된다고 강연자는 경험을 공유했다.
01:11 - Claude Desktop 앱 설정(General 탭)에서 Computer Use 옵션 활성화 화면
활성화 이후에는 macOS의 시스템 설정에서 Claude Desktop에 접근성(Accessibility) 과 화면 녹화(Screen Recording) 권한을 모두 부여해야 비로소 기능이 동작한다.
02:15 - macOS 시스템 설정에서 Claude Desktop에 접근성(Accessibility) 및 화면 녹화(Screen Recording) 권한을 부여하는 화면
실제 동작 데모 - AI가 앱을 직접 조종하다
Discord 자동 탐색
강연자는 첫 번째 데모로 Discord 자동화를 시연했다. “Discord를 열어서 [특정] 서버로 이동하고 General 채널을 눌러봐”라는 자연어 명령 하나만으로, Claude는 스스로 Computer Use 권한을 요청하고 승인받은 뒤, 마우스를 자동으로 움직여 Discord를 실행하고 목표 서버와 채널로 이동하는 모든 과정을 완료했다. 강연자는 이 과정 내내 마우스와 키보드를 전혀 건드리지 않았다고 강조했다. 화면 위에서 커서가 텔레포트하듯 자동으로 움직이며 클릭하는 장면은 AI 에이전트의 실용성을 단적으로 보여주는 순간이었다.
03:16 - Claude가 Discord를 자동으로 열고 특정 서버의 General 채널로 이동하는 실시간 마우스 조작 화면
카카오톡 메시지 자동 발송
두 번째 데모는 카카오톡 메시지 자동 발송이었다. “카카오톡 코드팩토리 바이브 코딩 x Claude Code 방에서 하이라고 메시지 보내봐”라는 명령에 따라, Claude는 카카오톡 앱을 열고 해당 채팅방을 검색하여 더블 클릭으로 입장한 뒤, “하이”라는 메시지를 직접 입력하고 전송까지 완료했다. 강연자의 설명에 따르면 이 과정은 스크린샷 촬영 → 좌표 분석 → 마우스/키보드 조작의 반복 사이클로 이루어졌으며, 메시지가 실제로 채팅방에 전달된 것이 화면을 통해 확인되었다.
04:05 - 카카오톡 채팅방에 Claude가 자동으로 ‘하이’ 메시지를 입력하고 전송하는 화면
iOS 시뮬레이터 버튼 반복 클릭
세 번째 데모는 개발 도구와의 연동 가능성을 보여주었다. Flutter로 제작된 기본 카운터 앱이 iOS 시뮬레이터에서 실행 중인 상황에서, 강연자는 “iOS 시뮬레이터에 현재 실행되고 있는 앱에서 플러스를 눌러서 숫자를 15까지 올려줘”라고 명령했다. Claude는 시뮬레이터 화면에서 플러스 버튼의 위치를 정확히 파악하고, 현재값 8에서 목표값 15까지 도달하기 위해 7번 클릭이 필요하다고 계산한 뒤, 버튼을 순차적으로 클릭하여 목표를 달성했다.
05:11 - iOS 시뮬레이터의 Flutter 카운터 앱에서 플러스 버튼을 자동으로 7번 클릭하여 숫자를 8에서 15로 올리는 화면
원격 제어의 새로운 가능성 - Dispatch를 통한 모바일 연동
이 업데이트에서 가장 파급력이 큰 시나리오 중 하나는 Dispatch 기능과의 결합이다. Dispatch는 Claude Desktop에 원격으로 명령을 전송할 수 있는 기능으로, 강연자는 스마트폰에서 Dispatch를 통해 메시지를 입력하여 데스크탑의 Claude Computer Use를 원격으로 제어하는 것을 직접 시연했다.
스마트폰에서 “iOS 시뮬레이터에서 플러스 버튼 15번 눌러서 30으로 숫자를 만들어줘”라고 입력하자, 명령이 Dispatch를 통해 데스크탑의 Claude에게 전달되었다. Claude는 즉각적으로 시뮬레이터 화면을 확인한 뒤 버튼을 순차적으로 클릭하여 현재값 15에서 목표값 30까지 카운터를 올리는 데 성공했다. 이 과정에서 Computer Use 권한 요청(permission prompt)이 데스크탑 화면에 표시되어 수동으로 한 번 허용해야 했지만, 이후 동일 세션 내에서는 추가 승인 없이 계속 동작했다.
06:42 - 스마트폰 Dispatch에서 보낸 명령이 Claude Desktop에 전달되어 iOS 시뮬레이터 카운터를 15에서 30으로 자동 조작하는 화면
이 시나리오가 함의하는 바는 상당히 크다. 강연자에 따르면, Keep Awake 옵션으로 컴퓨터가 꺼지지 않게 설정해두면, 언제 어디서든 스마트폰만으로 자신의 데스크탑 컴퓨터를 완전히 원격 제어하는 것이 가능해진다. 기존에 텔레그램 봇 등 우회적인 방식으로 구현하던 원격 자동화 시나리오들이 이제 Claude 하나로 대체될 수 있는 것이다.
현재의 한계와 버그
리서치 프리뷰 단계인 만큼 몇 가지 명확한 제약도 존재한다. 브라우저를 통한 웹 탐색은 여전히 Claude Chrome 확장 프로그램이 필요하며, 보안상의 이유로 Computer Use의 직접 제어 범위에서 제외되었다고 강연자는 설명했다. 추후 업데이트를 통해 해결될 가능성이 있다는 전망도 덧붙였다.
동작 안정성 측면에서도 개선 여지가 있다. 전체 화면을 다른 앱이 덮고 있을 경우 동작에 실패하는 사례가 있었고, 목표 UI를 찾지 못해 화면을 반복 탐색하며 루핑(looping) 상태에 빠지는 현상도 발생했다. 그러나 강연자는 이러한 버그들이 출시 9시간 만에 관찰된 초기 문제임을 감안하면, 이미 리서치 프리뷰치고는 완성도가 상당히 높은 수준이라고 평가했다. 지금까지 발전해 온 속도를 볼 때 빠른 시일 내에 업데이트를 통해 개선될 것이라고 전망했다.
마무리 - AI 에이전트 시대의 실질적 개막
강연자는 이 업데이트를 단순한 기능 추가 이상의 의미로 해석했다. 말로 명령하면 컴퓨터가 자동으로 모든 작업을 수행하는 시대가 더 이상 먼 미래의 이야기가 아니라는 것이다. 그는 이 기능의 등장이 많은 스타트업에게 기회이자 동시에 위협이 될 것이라고 언급했다. 특히 컴퓨터 자동화를 핵심 서비스로 제공하던 회사들은 Claude Computer Use로 인해 직접적인 경쟁에 직면할 수 있다는 점을 시사했다.
Anthropic이 이틀 간격으로 채널(Channels) 기능 업데이트와 Computer Use를 연달아 출시한 속도 역시 주목할 만하다. 경쟁사들이 유사한 기능을 이미 출시했거나 준비 중인 상황에서, Anthropic이 빠르게 추격하며 오히려 앞서 나가는 모습을 보여준 셈이다. 강연자는 이러한 기술 발전의 속도에 “등골에 소름이 돋을 정도로 무섭다”는 솔직한 감상을 전하면서, 독자들에게 이 기능으로 어떤 서비스를 만들 수 있을지 상상해볼 것을 권하며 영상을 마무리했다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | 드디어 클로드를 오픈클로로 만들어버린 앤트로픽. 오늘 나온 따끈따끈한 업데이트! Claude Computer Use |
| 채널 | 코드팩토리 |
| 리포트 작성 | 2026-03-24 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다.
정확한 내용은 원본 영상을 참조해 주세요.