Claude Computer Use가 뭔지 30초 만에 정리

Claude Computer Use는 Claude가 사용자의 Mac 화면을 직접 보면서 마우스를 클릭하고 키보드를 치는 기능입니다. 2026년 3월 23일 Anthropic이 리서치 프리뷰로 공개했으며, Claude Pro(월 $20)와 Max(월 $100) 구독자에게 순차 개방 중입니다. (출처: Anthropic 공식 블로그 claude.com/blog/dispatch-and-computer-use, 2026.03.23)

지금까지 AI 비서가 외부 서비스를 조작하려면 반드시 전용 API가 있어야 했습니다. Slack은 Slack API, Google Calendar는 Calendar API처럼요. Claude Computer Use는 그 제약을 뒤집습니다. API가 없는 앱도 화면만 보이면 됩니다. Anthropic 공식 블로그는 이를 “도구를 모델에 맞추는 대신, 모델을 도구에 맞추는 것”이라고 표현했습니다. 말 그대로 Claude가 사람처럼 화면을 보고 쓰는 방식입니다.

작동 순서는 단순합니다. Claude는 스크린샷을 찍어 화면을 파악하고, 클릭할 위치까지 몇 픽셀을 이동해야 하는지 계산한 뒤, 마우스·키보드로 액션을 실행합니다. 그리고 다시 스크린샷을 찍어 결과를 확인하고 다음 단계로 넘어갑니다. Anthropic은 이 방식을 플립북에 비유했는데, 연속 영상이 아니라 스크린샷을 순차로 쌓아가는 구조입니다. 이 구조가 나중에 실전 성공률에 영향을 줍니다.

기능은 Claude Cowork(비개발자 대상)와 Claude Code(개발자 대상) 두 제품 모두에 동시 적용됐습니다. Cowork에서는 문서 정리·리서치·이메일 분류, Code에서는 IDE 조작·브라우저 테스트·PR 제출 같은 작업에 쓸 수 있습니다.

▲ 목차로 돌아가기

벤치마크 수치가 말해주는 것과 말해주지 않는 것

Anthropic이 Vercept를 인수한 2026년 2월 25일, 공식 발표와 함께 OSWorld 벤치마크 수치를 공개했습니다. Claude 3.5 Sonnet의 14.9%(2024년 10월 기준)에서 Claude Sonnet 4.6의 72.5%까지 올라갔다는 내용입니다. (출처: Anthropic 공식 블로그 anthropic.com/news/acquires-vercept, 2026.02.25)

벤치마크 점수를 바로 믿기 전에 확인해야 할 것

수치가 인상적인 건 사실입니다. 그런데 여기서 막상 해보면 달라지는 부분이 있습니다. OSWorld 벤치마크의 공식 “인간 수준” 기준값은 72.36%입니다. Claude Sonnet 4.6의 72.5%는 이 수치를 아주 미세하게 넘긴 거지, 압도적인 차이가 아닙니다. 게다가 2024년 10월의 14.9%와 2026년 2월의 72.5%는 서로 다른 버전의 OSWorld를 기준으로 측정된 값입니다. 두 수치를 단순히 “5배 향상”으로 비교하면 오해가 생깁니다. (출처: OSWorld 리더보드, paperswithcode.com)

⚠️ 2024년 10월의 14.9%와 2026년 2월의 72.5%는 측정 기준(OSWorld 원본 vs Verified)이 달라 직접 비교에 한계가 있습니다.

그런데 실전에서는 전혀 다른 수치가 나왔습니다. Mac 전문 매체 MacStories가 실제 업무 환경에서 테스트한 결과, 성공률이 약 50%였습니다. 파일 찾기와 이메일 요약은 잘 됐지만, Safari 탭 제어와 Terminal 세션 고난도 작업은 자주 실패했습니다. (출처: MacStories, macstories.net/stories/hands-on-with-claude-dispatch-for-cowork/, 2026.03.24) 벤치마크 72.5%와 실전 50%, 이 차이가 왜 생기는지가 다음 섹션에서 중요해집니다.

▲ 목차로 돌아가기

커넥터 우선·화면 제어 폴백 — 설계 구조가 실사용에 미치는 영향

Claude Computer Use가 모든 작업을 화면으로 처리한다고 생각하면 오해입니다. Anthropic이 설계한 구조는 “커넥터 우선, 화면 제어는 폴백”입니다. Slack, Google Calendar처럼 공식 커넥터가 있는 앱은 화면을 건드리지 않고 API로 바로 처리합니다. 커넥터가 없을 때만 화면 제어로 전환됩니다. (출처: Anthropic 공식 블로그 claude.com/blog/dispatch-and-computer-use, 2026.03.23)

이 구조가 실사용에서 어떤 의미를 갖는가

커넥터 방식은 수 초 만에 끝납니다. 화면 제어 방식은 스크린샷 캡처 → 해석 → 픽셀 계산 → 액션 → 결과 확인 사이클을 반복하기 때문에 체감상 훨씬 느립니다. Anthropic도 이 속도 차이를 공식적으로 인정했습니다. 즉, 자주 쓰는 앱에 커넥터가 있으면 빠르고 안정적이지만, 커넥터 없는 앱을 다룰수록 느리고 실패 확률도 올라갑니다. MacStories 실전 성공률 50%가 나온 이유가 여기 있습니다.

Claude가 작업 도중 막히면 어떻게 할까요? Anthropic은 스스로 다른 방법을 시도한다고 밝혔습니다. 클릭이 먹히지 않으면 다시 스크린샷을 찍고 다른 위치를 시도합니다. 이 자기 수정 루프가 복잡한 작업에서는 오히려 작업이 엉키는 원인이 되기도 합니다. MacStories 테스트에서 여러 요청을 동시에 넣으면 Claude가 순서를 혼동하는 경우가 있었다고 보고됐습니다.

▲ 목차로 돌아가기

Dispatch와 결합하면 달라지는 것들

Computer Use 단독으로는 여전히 Mac 앞에 앉아야 합니다. 여기에 같은 날 공개된 Dispatch가 더해지면 이야기가 달라집니다. Dispatch는 스마트폰과 Mac 사이에 하나의 지속적인 대화 세션을 만들어주는 기능입니다. iPhone의 Claude 앱에서 QR코드로 Mac을 페어링하면, 어디서든 Mac에게 일을 시킬 수 있습니다. (출처: Anthropic 공식 헬프 센터, support.claude.com, 2026.03.23)

출근길 지하철에서 “오늘 회의록 정리해서 보고서 초안 만들어줘”라고 폰에 말하면, 집 Mac의 Claude가 화면을 열고 파일을 찾아 작업을 시작합니다. 사무실에 도착하면 결과물이 나와 있는 구조입니다. 반복 작업도 스케줄링할 수 있어서 “매일 아침 이메일 스캔해줘”를 한 번만 설정해두면 됩니다.

단, 조건이 있습니다. Mac이 잠들지 않고 켜진 상태여야 하고, Claude 앱이 실행 중이어야 합니다. 모든 처리는 사용자의 Mac 로컬에서 이루어지고, 폰은 텍스트 지시만 전달합니다. 파일과 작업 결과는 Mac에 남아 있고, Cowork 대화 기록도 Anthropic 서버가 아닌 로컬에 저장됩니다. 이 점은 프라이버시 측면에서 긍정적입니다. 단, Dispatch 기능은 처음에 Max 구독자에게만 먼저 열렸고, 이후 Pro까지 확대될 예정이라고 Anthropic이 밝혔습니다.

▲ 목차로 돌아가기

macOS만 된다는 게 단순한 기술 문제가 아닌 이유

현재 Claude Computer Use는 macOS 전용입니다. Windows와 Linux는 미지원이고, Windows 지원 계획도 “향후 업데이트 예정”으로만 공개됐습니다. 많은 사람들이 이걸 단순히 “아직 개발 안 됐다”로 읽습니다. 그런데 맥락을 붙이면 다르게 보입니다.

또 하나의 맥락이 있습니다. Anthropic의 첫 번째 주요 인수는 2025년 12월의 Bun(JavaScript 런타임)이었습니다. 현재 Claude Code가 Bun 실행 파일로 배포됩니다. 두 번째가 2026년 2월의 Vercept(화면 인식·제어 기술)였고, 그 4주 후에 Computer Use가 나왔습니다. Anthropic의 인수가 모두 macOS 생태계와 깊은 연관이 있는 회사들입니다. OpenAI와 Google이 클라우드·브라우저 중심으로 에이전트를 풀어가는 동안, Anthropic은 로컬 Mac을 거점으로 잡는 전략을 택한 셈입니다.

실제로 뉴스스페이스의 블룸버그 인용 보도에서도 “Anthropic은 맥 기반 에이전트 생산성 도구를 먼저 구축하고, Windows 지원은 나중으로 미루는 전략적 선택을 한 것으로 해석된다”고 분석했습니다. 국내 Mac 사용자 비율이 전체 PC 시장의 약 10% 수준임을 감안하면, 현재 단계에서 이 기능을 쓸 수 있는 사람은 상당히 제한적입니다. (출처: 뉴스스페이스 newsspace.kr, 2026.03.24)

▲ 목차로 돌아가기

직접 해볼 수 있는 시나리오와 피해야 할 작업

Anthropic의 공식 데모와 커뮤니티 실험 사례를 바탕으로 정리했습니다. 리서치 프리뷰 단계이므로 실제 동작은 달라질 수 있습니다.

지금 당장 써볼 만한 작업

Downloads 폴더 정리, 이메일 분류, 브라우저에서 정보 수집 후 문서에 정리, 반복 데이터 입력처럼 단순하고 결과를 눈으로 확인할 수 있는 작업에서 성과가 좋았습니다. Anthropic 공식 데모에서도 소개된 “받은 편지함에서 ‘Invoice’ 제목 이메일을 찾아 라벨 분류하기”는 60초 이내에 안정적으로 처리된다고 알려져 있습니다. 개발자라면 IDE 열고 지정 파일의 특정 함수 수정 후 테스트 실행처럼 반복 개발 작업에 활용할 수 있습니다.

아직 피해야 할 작업

은행 이체나 결제 같은 금융 거래, 비밀번호·API 키 입력, 정밀한 드래그&앤드롭이 필요한 디자인 작업, 시간에 민감한 주식 거래는 Anthropic도 명시적으로 훈련에서 제외한 영역입니다. 구체적으로 주식 거래, 민감 데이터 입력, 얼굴 이미지 수집을 피하도록 했다고 밝혔지만, 가드레일이 완벽하지는 않다고 인정했습니다.

보안 측면도 확인해야 합니다. Claude가 화면에 보이는 모든 것에 접근할 수 있기 때문에, 작업 지시 전에 화면에 민감한 정보가 열려 있지 않은지 확인하는 습관이 필요합니다. Anthropic은 앱별 승인, 폴더 단위 접근 허용 등 Permission-First 구조를 채택했지만, 권한을 한 번 부여하면 그 범위 안에서는 Claude가 자율적으로 움직입니다.

▲ 목차로 돌아가기

Q&A

▲ 목차로 돌아가기

마치며

Claude Computer Use는 “AI 비서”에서 “AI 동료”로 넘어가는 변곡점입니다. 채팅창에서 답을 주던 시대에서, 화면을 보고 직접 손발을 움직이는 시대로요. OSWorld 72.5%라는 수치는 인간 수준에 도달했다는 신호이고, MacStories의 실전 50% 성공률은 아직 리서치 프리뷰라는 현실입니다. 이 두 숫자가 모순이 아니라 지금 이 기능이 어떤 단계에 있는지를 가장 솔직하게 말해줍니다.

macOS 전용이라는 제약이 가장 아쉬운 부분입니다. Windows 사용자에게는 당분간 남의 이야기입니다. 다만 Anthropic이 Vercept를 인수한 지 4주 만에 이 기능을 출시했고, Bun 인수 이후 Claude Code 생태계가 빠르게 성숙한 사례를 보면, 이후 속도는 예측 이상으로 빠를 수 있습니다. 지금 당장 Mac을 쓰는 Pro·Max 구독자라면, 작은 작업부터 직접 써보면서 감을 잡아두는 게 맞다고 생각합니다. 처음엔 기대보다 느리고 가끔 실패하겠지만, 지금이 이 기술의 가장 초기 단계입니다.

▲ 목차로 돌아가기

본 포스팅 참고 자료

1. Anthropic 공식 블로그 — Dispatch and Computer Use: claude.ai/blog/dispatch-and-computer-use (2026.03.23)
2. Anthropic 공식 블로그 — Vercept 인수 발표: anthropic.com/news/acquires-vercept (2026.02.25)
3. 뉴스스페이스 — “사람 대신 PC 앞에서 일한다” 新플랫폼 전쟁의 서막: newsspace.kr (2026.03.24, Bloomberg 인용)
4. MacStories — Hands-on with Claude Dispatch for Cowork: macstories.net (2026.03.24)
5. 갓대희의 작은공간(티스토리) — Claude Computer Use 리뷰: goddaehee.tistory.com/560 (2026.03.25)
6. Automata V.14 뉴스레터 — OpenClaw에 대한 Anthropic의 답변: maily.so/automata (2026.03.25)