Computer Use가 정확히 무엇인가

Claude computer use는 Claude가 스크린샷을 찍어 화면을 인식하고,
마우스를 클릭하고, 키보드를 입력하면서 실제 데스크톱 앱을 직접 조작하는 기능입니다.
2026년 3월 23일, Anthropic이 Claude Cowork와 Claude Code 양쪽에서 동시에 리서치 프리뷰로 공개했습니다.

기존 AI 비서와의 핵심 차이는 여기에 있습니다.
기존 도구는 Slack·Google Calendar 같은 앱에 전용 API 커넥터가 연결돼 있어야만 작업할 수 있었습니다.
Computer Use는 커넥터가 없어도 사람이 쓰는 것과 똑같은 방식으로 UI를 직접 조작합니다.
Anthropic 공식 블로그는 이를 “도구를 모델에 맞추는 대신, 모델을 도구에 맞추는 것“이라고 표현했습니다.

작동 방식은 세 단계입니다.
먼저 스크린샷으로 현재 화면을 파악하고, 다음으로 클릭·타이핑까지 몇 픽셀을 이동해야 할지 계산하고,
마지막으로 실제 액션을 실행한 뒤 다시 스크린샷을 찍어 결과를 확인합니다.
Anthropic은 이 방식을 연속 영상이 아닌 페이지를 넘기는 방식이라고 설명했으며,
이 구조 때문에 속도가 API 직접 호출보다 느리다는 한계도 함께 공인했습니다.
(출처: claude.com/blog/dispatch-and-computer-use, 2026.03.23)

▲ 목차로 돌아가기

OSWorld 72.5%, 숫자 하나에 함정이 있습니다

Anthropic은 Claude Sonnet 4.6이 OSWorld 벤치마크에서 72.5%를 기록했고,
이 수치가 인간 전문가 기준인 72.36%를 처음으로 넘어선 것이라고 발표했습니다.
(출처: Anthropic 공식 Vercept 인수 발표, 2026.02.25)

그런데 2024년 10월의 Claude 3.5 Sonnet은 OSWorld에서 14.9%였습니다.
숫자만 보면 16개월 만에 약 5배가 된 것처럼 보입니다.
실제로 Anthropic도 공식 사이트에서 이 16개월의 진화 차트를 전면에 내세웁니다.

OpenAI의 공식 발표에 따르면 GPT-5.4는 OSWorld-Verified에서 75.0%를 기록했습니다.
(출처: openai.com/index/introducing-gpt-5-4, 2026.03.05)
수치만 놓고 보면 두 회사가 거의 동시에 인간 수준에 도달했고, 격차는 2.5%p입니다.

▲ 목차로 돌아가기

Pro면 쓸 수 있다는 말, 절반만 맞습니다

공식 이용 조건을 보면 Claude Pro($20/월) 이상이면 Computer Use를 사용할 수 있다고 나와 있습니다.
맞습니다. 그런데 실제로 Pro에 가입했을 때 바로 쓸 수 있는 사람은 지금 당장 많지 않습니다.
이유는 단계적 롤아웃 때문입니다.

Anthropic은 Computer Use를 리서치 프리뷰 단계로 공개하면서,
Pro·Max 구독자 전원에게 동시에 활성화하지 않고 순차적으로 배포하고 있습니다.
Dispatch 설정 화면에서 “Claude가 컴퓨터를 제어하도록 허용” 토글이 아직 보이지 않는 경우,
계정에 아직 배포되지 않은 것이며 별도 신청 없이 기다리면 된다고 공식 지원 문서는 안내하고 있습니다.
(출처: support.claude.com, Cowork 시작하기 공식 문서)

사용량 소비도 유의할 부분입니다.
Anthropic 공식 문서는 “Cowork로 작업을 수행하면 일반 채팅보다 훨씬 더 많은 사용 할당량을 소비한다”고 명시하고 있습니다.
복잡한 다단계 작업은 계산 집약적이며 토큰 소비가 크기 때문에,
Pro 구독자가 Computer Use 작업을 반복하면 5시간 세션 한도에 빠르게 도달할 수 있습니다.
참고로 2026년 3월 Anthropic은 피크 시간대 사용량 조정 조치를 취하기도 했습니다.
(출처: support.claude.com/ko/articles/13345190-cowork-시작하기)

▲ 목차로 돌아가기

프롬프트 인젝션 1%, 이게 안전하다는 말이 아닙니다

Anthropic은 Claude for Chrome(브라우저 에이전트) 기준으로, 자사 내부 적응형 공격자 테스트에서
프롬프트 인젝션 공격 성공률을 약 1%까지 낮췄다고 발표했습니다.
(출처: anthropic.com/news/prompt-injection-defenses)
이 수치만 보면 매우 안전한 것 같습니다.

그런데 Anthropic의 Claude Opus 4.6 시스템 카드(2026.02.05, 212페이지)에는 전혀 다른 수치가 나옵니다.
코딩처럼 제한된 환경에서는 200번 공격 시도에서 성공률 0%이지만,
GUI 기반(화면 제어) 환경에서 Extended Thinking 활성화 시 단 1회 시도에서 17.8%,
200번 시도 기준으로는 세이프가드 없을 때 78.6%, 있을 때 57.1%까지 올라갑니다.

Computer Use는 GUI 기반입니다. Claude가 웹을 탐색하고 화면을 제어하는 환경이기 때문에
악성 웹페이지나 이메일 속 숨겨진 명령이 있으면 공격 성공 가능성이 커집니다.
실제로 Claude Cowork 출시 며칠 만에 보안 연구자들이 로컬 폴더의 파일을 외부로 유출시키는
프롬프트 인젝션 취약점을 발견했고, Anthropic이 패치했습니다.
(출처: the-decoder.com, 2026.01.17)

공식 발표에서 Anthropic은 “코딩이나 텍스트 상호작용 능력에 비하면 아직 초기 단계”라고 직접 인정했습니다.
그래서 지금은 은행·결제 같은 금융 거래, 비밀번호·API 키 입력, 법률·의료 문서 처리에는
사용하지 않도록 Anthropic 스스로 권고하고 있습니다.

▲ 목차로 돌아가기

경쟁사와 나란히 놓고 보면 다른 게 보입니다

현재 주요 AI 기업이 내놓은 데스크톱 제어 에이전트를 비교하면 접근 방식의 차이가 뚜렷합니다.
Anthropic의 Computer Use는 사용자의 Mac에서 로컬로 실행되는 방식이고,
OpenAI의 Operator는 샌드박스 가상 브라우저 환경에서 동작합니다.
Perplexity의 Computer는 전용 Mac mini 기기를 클라우드와 로컬 하이브리드로 운영하는 독특한 구조이고,
Meta의 My Computer(Manus)는 macOS와 Windows를 모두 지원합니다.

Claude Computer Use의 로컬 실행 방식은 데이터가 외부로 나가지 않는다는 장점이 있습니다.
반면 OpenAI Operator의 샌드박스 방식은 사용자의 실제 기기와 분리되어 있어
설정이 간단하고 플랫폼 제약이 없지만, 로컬 파일에 직접 접근하기 어렵습니다.

보안 투명성 측면에서는 Anthropic이 현재로서는 유일하게
공격 성공률을 표면별·시도 횟수별로 공개한 AI 기업입니다.
OpenAI의 GPT-5.2 시스템 카드는 벤치마크 점수만 공개했고,
Google Gemini 3 모델 카드는 이전 모델 대비 상대적 개선만 제시했습니다.
Anthropic의 수치가 불안해 보인다면, 다른 회사들이 그 수치를 공개하지 않는다는 점도 같이 생각해볼 필요가 있습니다.
(출처: VentureBeat, 2026.02.10)

▲ 목차로 돌아가기

지금 쓰기 좋은 작업 vs 아직 피해야 할 작업

Anthropic이 공식으로 권장한 사용 사례와, 공식 및 커뮤니티에서 피하도록 권고한 작업을 정리했습니다.
리서치 프리뷰 단계이므로 사용 경계를 지켜보는 것이 중요합니다.

실제 써본 후기에서 공통적으로 언급되는 부분은 속도입니다.
커넥터(Slack, Google Calendar 등)가 연결된 작업은 수 초 내에 끝나지만,
화면을 직접 제어하는 작업은 스크린샷 캡처→분석→액션 사이클이 반복되기 때문에
처음 기대보다 느린 경우가 많습니다.
Anthropic도 공식적으로 “API 대비 화면 제어 속도는 느리다”는 점을 인정했습니다.
간단한 작업부터 시작하는 것이 실망을 줄이는 방법입니다.

▲ 목차로 돌아가기

Q&A

▲ 목차로 돌아가기

마치며 — 쓸 만한가, 아직 이른가

솔직히 말하면 Claude computer use는 지금 당장 모두에게 필요한 기능은 아닙니다.
macOS 전용이고, 단계적으로 배포 중이며, Pro라도 할당량이 금방 줄어들 수 있고,
보안 면에서도 아직 “초기 단계”라는 것을 Anthropic 스스로 인정하고 있습니다.

반면 16개월 만에 OSWorld 14.9%에서 72.5%로 올린 속도는 의미 있습니다.
실제 파일 정리, 이메일 분류, 스프레드시트 자동화 같은 반복 작업에서는 실제 도움이 됩니다.
Anthropic이 보안 수치를 숫자로 공개한 것도 긍정적인 신호입니다.
다만 공개된 수치가 “상황에 따라 완전히 달라진다”는 점은 충분히 인식하고 써야 합니다.

개인적으로는 macOS를 쓰는 지식 노동자, 특히 반복 작업이 많은 사람에게는
지금 Pro 구독 상태라면 한 번쯤 써볼 가치가 있다고 봅니다.
다만 금융·법률·의료 관련 작업은 아직은 사람이 직접 하는 것이 맞습니다.

본 포스팅 참고 자료

1. Anthropic 공식 — Computer Use & Dispatch 발표
   (claude.com/blog/dispatch-and-computer-use, 2026.03.23)
2. Anthropic 공식 — 프롬프트 인젝션 방어 블로그
   (anthropic.com/news/prompt-injection-defenses)
3. OpenAI — GPT-5.4 소개 (OSWorld-Verified 75.0% 수치 출처)
   (openai.com/index/introducing-gpt-5-4/, 2026.03.05)
4. Anthropic 공식 지원 문서 — Cowork 시작하기
   (support.claude.com)
5. VentureBeat — 프롬프트 인젝션 공격 성공률 분석
   (venturebeat.com, 2026.02.10)
6. CNBC — Anthropic Computer Use 공식 발표 보도
   (cnbc.com, 2026.03.24)