Claude Computer Use, macOS만 된다는 게 함정입니다

2026년 3월 23일, Anthropic이 Claude Computer Use를 리서치 프리뷰로 공개했습니다. “AI가 마우스를 직접 클릭한다”는 말 한마디에 많은 분들이 흥분하셨을 텐데, 막상 써보려고 설정 들어가면 토글 자체가 안 보이는 경우가 많습니다. Pro·Max 구독자에게도 단계적으로 배포 중이라 지금 당장 안 보여도 이상한 게 아닙니다. 그리고 막상 활성화되더라도, 공식 문서에서 소리 없이 명시한 조건들이 생각보다 까다롭습니다.

Claude Computer Use가 뭔지, 한 문장으로

Claude Computer Use는 Claude가 사용자의 Mac 화면을 스크린샷으로 인식한 다음, 마우스를 이동하고 클릭하며 키보드로 입력하는 기능입니다. 사람이 컴퓨터 앞에 앉아서 하는 것과 똑같은 방식으로 앱을 조작한다고 보면 됩니다.

Anthropic 공식 블로그에는 이렇게 적혀 있습니다. “Claude가 필요한 도구에 대한 접근 권한이 없을 때, 화면에 보이는 것을 직접 포인트하고, 클릭하고, 네비게이트하여 작업을 수행합니다.” (출처: claude.com/blog/dispatch-and-computer-use, 2026.03.23) 핵심은 “접근 권한이 없을 때”라는 조건입니다. 이 부분이 보통 건너뛰어집니다.

이 기능이 특히 주목받는 이유는 지난주 출시된 Dispatch와 결합되기 때문입니다. Dispatch는 모바일 앱에서 보낸 지시를 데스크탑의 Claude가 수행하도록 연결하는 기능입니다. 출근길 지하철에서 폰으로 “이메일 정리해줘” 한마디 하면, 집에 놓고 온 Mac에서 Claude가 알아서 화면을 열고 작업을 시작합니다.

2026년 3월 17일 Dispatch 출시, 3월 20일 Discord·Telegram 채널 지원, 3월 23일 Computer Use 공개까지 일주일 안에 세 가지가 한꺼번에 나왔습니다. 그런데 이 세 가지가 어떻게 연결되는지, 어떤 순서로 동작하는지를 설명한 한국어 글은 아직 거의 없습니다.

▲ 목차로 돌아가기

화면을 항상 직접 제어하는 게 아닌 이유

Anthropic이 설계한 실행 우선순위는 세 단계입니다. 공식 지원 문서에는 이렇게 나와 있습니다. (출처: support.claude.com/en/articles/14128542, 2026.03.23)

Slack 메시지를 보내는 작업이라면 커넥터로 수 초 안에 끝납니다. 화면 제어로 같은 작업을 하면 스크린샷 찍기 → 분석 → 클릭 사이클이 반복되면서 체감상 훨씬 오래 걸립니다. Anthropic 공식 문서에도 “커넥터를 통한 작업이 화면 제어보다 빠르고 오류 가능성이 낮다”고 직접 명시되어 있습니다.

“Claude가 내 화면 전체를 다 본다”는 부담감을 갖는 분들이 많은데, 실제로 화면 제어가 동원되는 건 전용 커넥터가 없는 경우에 한정됩니다. 자주 쓰는 서비스에 커넥터가 이미 있다면 화면은 거의 건드리지 않습니다.

▲ 목차로 돌아가기

“사람 수준” 72.5%가 보여주지 않는 것

OSWorld 원본과 OSWorld-Verified는 평가 방식이 다릅니다. 두 버전의 수치를 “14.9%에서 72.5%로 약 5배 향상”으로 비교하는 건 기술적으로 정확하지 않습니다. Anthropic은 Vercept 인수 발표(2026.02.25) 당시 Sonnet 4.6의 72.5% 수치만 공식 언급했고, 2024년 10월 수치와 직접 비교하지는 않았습니다. 5배라는 숫자는 인상적이지만, 시험지 자체가 바뀐 겁니다.

그래도 실제 성능이 크게 향상된 건 사실입니다. Sonnet 4.6과 Opus 4.6이 OSWorld-Verified에서 각각 72.5%, 72.7%를 기록했다는 건 같은 기준 안에서 인간 수준(72.36%)을 처음으로 넘긴 결과입니다. (출처: Anthropic 공식 발표, 2026.02.17) 스프레드시트 탐색이나 브라우저 탭 전환 같은 복잡한 작업에서 인간과 비슷한 성공률을 보인다는 의미입니다.

▲ 목차로 돌아가기

샌드박스 밖에서 돌아간다는 말의 의미

Anthropic 공식 안전 가이드에는 이렇게 적혀 있습니다. “Computer Use는 Cowork가 평소 파일 작업과 명령 실행에 사용하는 가상 머신 밖에서 동작합니다. Claude가 격리된 샌드박스가 아닌 실제 데스크탑과 앱에 직접 접근한다는 의미입니다.” (출처: support.claude.com/en/articles/14128542, 2026.03.23) 이건 단순한 경고 문구가 아닙니다.

쉽게 말하면, Claude가 브라우저를 통해 웹 페이지를 열다가 악성 지시문이 숨겨진 페이지를 마주쳤을 때 그 지시를 그대로 수행할 위험이 있습니다. 이걸 프롬프트 인젝션이라고 합니다. Anthropic은 모델 활성화를 자동으로 스캔해 이를 방어하려 하지만, 공식 문서에 “이 방어 수단은 완벽하지 않다”고 직접 명시되어 있습니다.

실제로 2024년 10월 첫 공개 당시 Anthropic 내부 데모에서 재미있는(?) 오류 사례도 있었습니다. Claude가 긴 화면 녹화 작업 도중 갑자기 중지 버튼을 클릭해 촬영분을 전부 날린 일, 코딩 데모 중 아무 이유 없이 옐로스톤 국립공원 사진을 탐색하기 시작한 일이 공식 블로그에 기록되어 있습니다. (출처: anthropic.com/news/developing-computer-use)

토큰 소비량 문제도 있습니다. Computer Use는 스크린샷을 반복해서 찍고 분석하는 방식으로 동작하기 때문에, 일반 채팅보다 토큰을 훨씬 많이 씁니다. Plus 요금제 사용자라면 한도 압박이 체감될 수 있고, Max 플랜 쪽이 훨씬 여유롭습니다. Anthropic이 공식적인 토큰 소비량 수치를 발표하지 않았지만, 커뮤니티에서는 “복잡한 작업 하나가 일반 대화 수십 건 분량”이라는 언급이 공통적으로 나옵니다.

▲ 목차로 돌아가기

실제로 시도할 수 있는 작업 vs 피해야 할 작업

그럼 실제로 뭘 할 수 있을까요. 공식 데모와 커뮤니티 실사용 기록을 교차해서 정리했습니다. Cowork와 Computer Use의 탄생 배경도 흥미롭습니다. Anthropic에 따르면 처음엔 개발자용 도구였던 Claude Code를 마케팅팀, 데이터 분석팀이 몰래(?) 가져다 쓰기 시작했고, 그걸 보고 비개발자용 인터페이스로 따로 만든 게 Cowork라고 합니다. 즉, 일반 직장인의 실사용 요구에서 탄생한 제품입니다.

✅ 적합한 작업 (공식 데모 및 커뮤니티 검증)

• 파일 정리 및 분류 — Downloads 폴더 정리, 사진 종류별 이동, 이름 일괄 변경
• 이메일 분류 — Gmail에서 특정 제목 메일 찾아 라벨 생성 후 분류 (Anthropic 공식 데모 시나리오)
• 반복 데이터 수집 — API 없는 내부 대시보드에서 CSV 내보내기, 쇼핑 사이트 가격 비교 표 작성
• 콘텐츠 워크플로 — 초안 작성 후 Word 포맷팅, LinkedIn 포스트 초안, 뉴스레터 구성
• Dispatch 연동 시나리오 — 폰에서 지시 → Mac에서 pptx를 PDF 변환 후 캘린더 일정에 첨부 (Anthropic 공식 출시 데모)

❌ 지금 피해야 할 작업 (공식 안전 가이드 기준)

• 은행 · 결제 등 금융 거래 (기본 차단 대상)
• 비밀번호 · API 키 등 민감 정보 입력이 필요한 작업
• 실시간 알림에 즉각 반응해야 하는 작업
• 법률 문서 · 계약서 처리
• 의료 · 건강 정보가 포함된 화면 작업
• 브라우저로 인터넷을 탐색하는 동안 뱅킹 탭을 열어두는 것 (프롬프트 인젝션 위험)

속도 기대치도 현실적으로 잡는 게 좋습니다. 커넥터 기반 작업은 수 초 내 완료되지만, 화면 제어 기반 작업은 스크린샷 → 분석 → 액션 사이클이 반복되면서 체감상 훨씬 느립니다. “복잡한 작업은 두 번 시도가 필요할 수 있다”고 Anthropic이 직접 밝혔습니다. (출처: claude.com/blog/dispatch-and-computer-use)

▲ 목차로 돌아가기

지금 당장 쓰기 전에 확인할 조건들

실제로 사용하기 위한 조건을 공식 문서 기준으로 정리하면 아래와 같습니다.

처음 Computer Use를 활성화하면 앱별 접근 권한 승인 팝업이 뜹니다. 이게 “Permission-First” 설계입니다. Claude가 새 앱에 접근할 때마다 명시적으로 허가를 구하고, 거부하면 해당 앱에 접근하지 않습니다. Anthropic은 암호화폐 지갑, 투자 앱 등 일부 앱은 기본적으로 접근이 차단되어 있다고 밝혔습니다. (출처: support.claude.com/en/articles/14128542)

Windows 지원은 “coming soon”으로만 발표되었고 구체적인 날짜는 공개되지 않았습니다. 윈도우 사용자라면 지금 당장 화면 제어 기능을 쓸 방법은 없고, Dispatch의 텍스트 기반 작업 기능만 사용할 수 있습니다.

▲ 목차로 돌아가기

Q&A

마치며

솔직히 말하면, Claude Computer Use는 아직 “와, 대단하다”와 “아직 멀었네” 사이 어딘가에 있습니다. 화면 제어는 커넥터보다 느리고, 가끔 두 번 시도해야 하며, macOS에서만 됩니다. 그런데 그걸 알고 나서 쓰면 생각보다 쓸 수 있는 영역이 많습니다. 파일 정리, 반복 데이터 수집, API 없는 내부 시스템 자동화처럼 사람이 하면 귀찮고 스크립트 짜기엔 오버스펙인 작업들이 딱 여기에 해당됩니다.

72.5%라는 수치가 화려하게 보이지만, 벤치마크 버전이 달라진 맥락을 알고 봐야 합니다. “사람 수준에 달했다”는 말은 특정 평가 환경 안에서의 이야기이고, 실제 업무 환경은 그보다 훨씬 변수가 많습니다. 리서치 프리뷰답게 아직 오류가 나는 상황이 있고, Anthropic도 그걸 숨기지 않습니다.

지금 당장 Pro·Max 구독 중이고 Mac을 쓴다면, 간단한 파일 정리나 이메일 분류부터 시작해보는 게 합리적입니다. 처음부터 복잡한 작업을 맡기는 것보다, 작은 범위에서 어떻게 동작하는지 확인하는 쪽이 훨씬 좋은 출발입니다. 뭔가 잘못 될 것 같은 작업이 있다면 그 작업 전에 중요한 앱은 닫아두는 게 지금은 맞는 방식입니다.

📚 본 포스팅 참고 자료

1. Anthropic 공식 블로그 — Put Claude to work on your computer (2026.03.23)
2. Anthropic 공식 연구 문서 — Developing computer use (2024.10)
3. Anthropic 공식 안전 가이드 — Computer Use Safety Guidelines (2026.03.23)
4. Anthropic 공식 발표 — Introducing Claude Sonnet 4.6 (2026.02.17)