Claude Computer Use가 뭔지 먼저 정확히 짚겠습니다

Claude Computer Use는 2026년 3월 23일 Anthropic이 리서치 프리뷰로 출시한 기능입니다. Claude가 Mac 화면을 직접 보면서 마우스를 클릭하고 키보드를 입력하는 방식으로 작업을 대신 처리합니다. Claude Code와 Claude Cowork 두 가지 환경에서 사용할 수 있고, Pro($20/월)와 Max($100·$200/월) 구독자에게 순차 개방 중입니다.

이 기능의 배경에는 Vercept라는 스타트업 인수가 있습니다. AI가 컴퓨터 화면을 “보고” 행동하는 기술에 특화된 회사로, Eric Schmidt·Jeff Dean이 엔젤 투자자로 참여했고, Allen Institute for AI 출신 연구자들이 설립했습니다. Anthropic이 2026년 2월 인수한 뒤 4주 만에 이번 기능이 출시됐습니다. (출처: Anthropic 공식 블로그, 2026.02)

현재 Team·Enterprise 플랜은 지원하지 않으며, Windows는 “지원 예정”이라고만 발표됐습니다. 구체적인 일정은 공개되지 않은 상태입니다.

▲ 목차로 돌아가기

속도 차이가 이렇게 나는 이유: 2개의 동작 방식

Claude Computer Use는 겉으로 보면 하나의 기능처럼 보이지만, 실제로는 처리 경로가 두 가지로 나뉩니다. 이걸 모르면 “왜 이렇게 느리지?”라는 질문이 생길 수밖에 없습니다.

빠른 경로: Connector 모드 (API 직접 호출)

Claude가 작업을 받으면 먼저 해당 앱에 직접 연결된 커넥터가 있는지 확인합니다. Google Calendar, Slack, GitHub 등에 연결된 커넥터가 존재하면 API를 바로 호출합니다. 화면을 캡처하거나 분석할 필요가 없어서 몇 초 안에 끝납니다. 홍보 영상에서 보이는 인상적인 데모는 대부분 이 경로입니다.

느린 경로: Screenshot 모드 (스크린샷 루프)

커넥터가 없는 앱을 다뤄야 할 때 Screenshot 모드로 전환됩니다. 화면 캡처 → Anthropic 서버로 전송 → 시각 분석 → 다음 행동 결정 → 실행의 루프를 매 단계마다 반복합니다. PCWorld 기자가 뉴스레터 3개를 해지하는 데 30분이 걸렸다는 보고가 이 경로에 해당합니다. (출처: PCWorld, 2026.03)

2026년 3월 기준 Google Workspace 커넥터는 아직 완성되지 않아서 Gmail·Google Docs 작업은 Screenshot 모드로 처리됩니다. 즉, 가장 많이 쓰는 앱이 느린 경로에 해당한다는 뜻입니다.

▲ 목차로 돌아가기

OSWorld 22%인데 쓸만하다고? 수치가 말하지 않는 것

벤치마크 수치를 처음 보면 당황스럽습니다. Helicone 비교 데이터 기준으로 OSWorld(OS 운영 작업 평가) 점수가 OpenAI Operator 38.1%, Claude 22%입니다. (출처: Helicone, 2026.03) 같은 비교에서 browser-use(오픈소스)는 89%, OpenAI Operator는 87%로 나옵니다.

Claude의 설계 방향은 “터미널 명령 실행”이 아니라 “복잡한 데스크탑 앱 UI를 시각적으로 이해하고 조작”하는 쪽입니다. 레거시 사내 시스템, API 없는 구형 소프트웨어, 복잡한 데이터 시각화 도구를 다루는 게 설계 목표입니다. OSWorld 벤치마크에는 이런 시나리오가 충분히 반영되지 않았습니다.

반면 Anthropic 공식 블로그에 공개된 수치는 다릅니다. Claude Sonnet 4.6 기준으로 OSWorld 점수가 72.5%입니다. 2024년 말 15% 이하였던 것에서 불과 수 개월 만에 이 수준에 도달했습니다. (출처: Anthropic 공식 블로그, 2026.02)

수치의 맥락을 읽는 게 중요합니다. 어떤 기준으로 측정했느냐에 따라 같은 모델이 22%도 되고 72.5%도 됩니다. 어떤 작업을 하려고 쓰느냐에 따라 선택이 달라집니다.

▲ 목차로 돌아가기

Pro $20로 쓰면 금방 막히는 이유 — 토큰 소모 구조

“Pro $20에서도 된다”는 표현은 맞습니다. 하지만 얼마나 할 수 있는지를 같이 봐야 합니다. Claude Code 기준 Pro 플랜의 5시간 세션당 토큰 한도는 약 44,000개입니다. (출처: Verdent AI, 2026.03)

Screenshot 모드에서 Computer Use를 쓰면 매 단계마다 스크린샷을 Anthropic 서버로 보내서 처리합니다. 시각 정보 처리는 텍스트 처리 대비 토큰을 훨씬 많이 씁니다. Reddit 커뮤니티에서 나온 실사용 데이터에 따르면, Max $200/월 구독자가 GitHub PR 하나 처리하는 데 쿼터가 52%에서 91%로 뛰었습니다. Max 20배 플랜에서 한 작업이 39%를 소모한 것입니다.

처음 시작한다면 파일 정리나 PDF 일괄 변환처럼 반복 가능하고 민감하지 않은 작업부터 시작하는 게 합리적입니다. 토큰 소모 패턴을 직접 확인한 뒤 플랜 업그레이드를 고려하는 순서가 맞습니다.

▲ 목차로 돌아가기

Dispatch: 아이폰으로 Mac을 원격 조종하는 방법

Computer Use와 함께 주목받는 기능이 Dispatch입니다. iPhone의 Claude 앱에서 QR 코드로 Mac과 페어링하면, 자리를 비운 사이에도 Claude에게 작업을 지시할 수 있습니다. “회의 전에 피치 덱 PDF로 변환해서 캘린더 초대에 첨부해줘”라는 지시를 보내면 — Claude가 Keynote를 열고, PDF로 내보내고, 캘린더 이벤트에 파일을 붙이는 과정을 처리합니다.

처리가 Mac 로컬에서 이루어진다는 점도 확인할 부분입니다. 폰은 텍스트 지시만 보내고, 실제 작업과 파일은 Mac에 남습니다. Cowork 대화 기록 역시 Anthropic 서버가 아닌 로컬에 저장됩니다. (출처: Claude 공식 헬프센터)

다만 전제 조건이 있습니다. Mac이 깨어 있어야 하고 Claude 앱이 열려 있어야 합니다. 작업을 걸어두고 컴퓨터를 닫으면 중단됩니다. MacStories 초기 테스트에서 Dispatch의 실제 작업 성공률은 약 50% 수준이었습니다. 파일 찾기·요약은 잘 됐지만, 공유나 복잡한 앱 연동은 실패가 잦았습니다.

▲ 목차로 돌아가기

실제로 잘 되는 작업, 피해야 할 작업

커뮤니티 실사용 사례와 공식 발표를 교차해서 보면 “잘 맞는 작업의 패턴”이 보입니다. 공통점은 반복 가능 + 재시도 가능 + 민감 정보 없음 + 속도 압박 없음입니다.

✅ 잘 되는 작업 유형

파일 일괄 처리가 가장 안정적입니다. Word 파일 수십 개를 PDF로 변환하거나, 다운로드 폴더에서 중복 파일을 해시 비교로 제거하고, 파일 내용 기반으로 이름을 정리하는 작업이 여기 해당합니다. 웹 컨버터 용량 제한을 피해 LibreOffice 같은 로컬 도구를 Claude가 직접 찾아서 쓰는 것도 강점입니다.

데이터 분석 + 로컬 도구 조합도 효과적입니다. 가계부 앱 백업을 주면 자동 추출·DB 쿼리·Python 차트 생성·PDF 리포트까지 연결하는 작업이 실제로 동작한 사례가 보고됐습니다.

개발 워크플로우에서도 활용 여지가 있습니다. IDE에서 코드 편집 → 테스트 실행 → PR 제출 흐름을 연결할 수 있지만, 민감한 계약이나 고객 데이터가 포함된 작업은 피해야 합니다.

❌ 피해야 할 작업 유형

Excel 병합 셀 + 복잡한 블록 헤더 구조는 파싱이 자주 깨집니다. 시각 처리 기반이기 때문에, 정형화되지 않은 레이아웃에서 오류율이 높아집니다.

속도가 중요한 작업은 적합하지 않습니다. Screenshot 모드의 루프 지연 시간을 고려하면 마감이 빡빡한 작업에는 맞지 않습니다.

한 번 잘못되면 되돌리기 어려운 작업도 피해야 합니다. 이메일 대량 발송, 계좌 관련 작업 등이 해당합니다. Anthropic도 민감 정보 처리에 이 기능을 사용하지 말 것을 공식적으로 권고했습니다.

▲ 목차로 돌아가기

보안: 화면에 보이는 건 다 보인다는 뜻

Claude Computer Use는 Screenshot 모드에서 화면에 표시된 모든 것을 분석합니다. 민감한 문서, 금융 정보, 개인 메시지가 화면에 열려 있으면 Claude가 그 내용을 처리 과정에서 인식합니다. Anthropic은 “화면에 보이는 모든 내용에 접근할 수 있다”고 직접 명시했습니다. (출처: Dataconomy, 2026.03)

Prompt Injection 취약점도 실재하는 문제입니다. ZombAIs 연구에서 구체적인 공격 경로가 공개됐습니다 — 악의적인 웹 페이지에 숨겨진 지시문을 Claude가 읽으면, 사용자가 의도하지 않은 행동이 실행될 수 있습니다. Anthropic이 자동화된 취약점 스캔을 구축했지만, 완벽하게 방어할 수 없다는 점을 공식적으로 인정했습니다.

위험이 0은 아니지만, 작업 격리를 통해 감수 가능한 수준으로 낮출 수 있습니다. 핵심은 “쓰지 말 것”이 아니라 “Claude가 접근할 수 있는 범위를 통제”하는 것입니다.

▲ 목차로 돌아가기

Q&A

▲ 목차로 돌아가기

마치며 — 총평

Claude Computer Use는 “조건부로 쓸만한” 기능입니다. 조건은 세 가지입니다. macOS 사용자일 것, Pro 이상 구독이 있을 것, 그리고 Connector 모드가 지원되거나 속도 압박이 없는 작업을 고른 것.

솔직히 말하면 지금 당장 “엄청나게 빠르다”거나 “뭐든 된다”고 쓰기는 어렵습니다. MacStories 테스트에서 성공률이 50% 수준이었고, Gmail 같은 가장 많이 쓰는 앱이 아직 느린 경로에 해당합니다. Anthropic 스스로도 “복잡한 작업에서 실수가 날 수 있고, 방어 수단이 완벽하지 않다”고 공식 발표문에 명시했습니다.

그러나 방향성은 다릅니다. Vercept 인수 4주 만에 출시, Sonnet 4.6의 OSWorld 점수가 수 개월 만에 15%에서 72.5%로 오른 것 — Anthropic이 이 기능에 얼마나 많은 자원을 집중하고 있는지 보입니다. 지금 낮은 위험 작업으로 시작해 패턴을 익혀두면, 기능이 성숙했을 때 바로 실전에 쓸 수 있습니다.

시작점으로 가장 적합한 작업은 Downloads 폴더 정리나 파일 일괄 변환입니다. 위험 낮고, 결과 명확하고, 실패해도 큰일 없습니다.

▲ 목차로 돌아가기

📚 본 포스팅 참고 자료

1. Anthropic 공식 블로그 — Vercept 인수 발표 (anthropic.com/news/acquires-vercept)
2. Claude 공식 헬프센터 — Dispatch 기능 안내 (support.claude.com)
3. Dataconomy — Anthropic Adds Computer Use To Claude On MacOS (dataconomy.com)
4. SaaSNik — Claude Computer Use Is Live: Your AI Can Now Run Your Mac (saasnik.com)
5. ShareUHack — Claude Computer Use on macOS: Which Tasks Are Worth It (shareuhack.com)
6. Helicone — browser-use vs computer-use vs operator 비교 (helicone.ai)
7. Verdent AI — Claude Code Pricing 2026: Real Costs (verdent.ai)