Claude Computer Use,
Mac만 되는 진짜 이유

AI가 화면을 직접 클릭하고 키보드를 친다는 기능, 들어보셨을 겁니다. 그런데 막상 써보려니 “Mac만 된다”는 말에 막힌 경험 있으시죠? 이 글에서는 공식 발표문과 실제 사용 흐름을 같이 놓고 보니 보이게 된 차이들을 정리했습니다.

Claude Computer Use, 정확히 무엇인가

Claude Computer Use는 2026년 3월 23일, Anthropic이 Claude Cowork와 Claude Code에 동시 탑재해 리서치 프리뷰로 공개한 기능입니다. 한마디로 정리하면, Claude가 사람처럼 Mac 화면을 눈으로 보고 마우스를 클릭하고 키보드를 입력하는 방식으로 작업을 수행합니다.

Anthropic 공식 블로그는 이 기능을 이렇게 설명합니다. “Claude가 필요한 도구에 대한 접근 권한이 없을 때, 화면에 보이는 것을 직접 포인트하고, 클릭하고, 네비게이트하여 작업을 수행합니다. 파일을 열고, 브라우저를 사용하고, 개발 도구를 자동으로 실행할 수 있습니다 — 별도의 설정이 필요 없습니다.” (출처: claude.com/blog/dispatch-and-computer-use, 2026.03.23)

이 기능은 Claude Cowork와 Claude Code 두 제품 모두에 들어갔습니다. Cowork는 비개발자 지식 노동자 대상, Code는 개발자 대상입니다. 공교롭게도 Cowork는 마케팅·데이터 분석 팀이 개발자 전용인 Claude Code를 몰래 쓰기 시작한 것을 보고 Anthropic이 만든 제품이라고 합니다. 비개발자용 인터페이스를 따로 낸 배경이 재밌습니다.

AI가 화면을 직접 본다? 작동 원리 정리

작동 흐름은 생각보다 단순합니다. Claude는 스크린샷을 찍어 현재 화면 상태를 파악하고, 클릭해야 할 위치까지 픽셀을 계산한 뒤 마우스를 이동시킵니다. 다시 스크린샷을 찍어 결과를 확인하고, 다음 단계로 넘어가는 방식입니다. Anthropic은 이 방식을 플립북(flipbook)에 비유합니다. 연속 비디오가 아니라 순차적인 스크린샷의 반복이라는 뜻입니다.

2024년 10월 첫 공개 당시 가장 까다로웠던 부분은 픽셀 카운팅이었습니다. Anthropic 개발 블로그를 보면 “Claude는 화면의 스크린샷을 해석한 다음, 올바른 위치를 클릭하기 위해 가로 또는 세로로 몇 픽셀을 이동해야 하는지 계산합니다. Claude가 픽셀을 정확히 세는 훈련이 핵심이었습니다.”라고 나옵니다. (출처: anthropic.com/news/developing-computer-use)

훈련 방식도 흥미롭습니다. 안전상의 이유로 인터넷 접속 없이, 계산기와 텍스트 에디터 같은 간단한 소프트웨어만으로 훈련시켰습니다. 그런데 이것만으로도 범용 컴퓨터 조작 능력을 익혔다는 게 포인트입니다. 막히면 다시 스크린샷을 찍고 다른 위치를 시도하는 자기 수정 능력도 확인됐습니다.

Mac 전용인 이유, 벤치마크가 말해주는 것

“왜 Mac만 되나요?”라는 질문이 가장 많습니다. Anthropic이 공식적으로 이유를 설명하지는 않았습니다. 그런데 2026년 2월 25일 발표된 Vercept 인수 내용을 보면 맥락이 보입니다. Vercept는 “AI 시스템이 인간이 매일 사용하는 소프트웨어 안에서 보고 행동하는 방법”을 수년간 연구한 팀입니다. (출처: Anthropic 공식 블로그, Vercept 인수 발표, 2026.02.25) 이 팀의 핵심 역량이 맥OS 기반이었고, Anthropic은 이를 흡수해 Computer Use 고도화에 투입한 것으로 해석됩니다.

벤치마크 수치를 직접 보겠습니다. OSWorld는 실제 데스크톱에서 버튼 클릭, 폼 작성, 다단계 작업 완수 같은 과제를 주고 AI의 성공률을 측정합니다.

16개월 만에 14.9%에서 72.5%로, 약 5배 성장했습니다. 다만 한 가지 주의사항이 있습니다. 2024년 10월의 14.9%는 OSWorld 원본 기준, 2026년 2월의 72.5%는 OSWorld-Verified(개정판) 기준으로 평가 방식이 다릅니다. 단순 비교는 어렵고, 개선 방향이 옳다는 근거로 읽는 것이 맞습니다.

Pro·Max 요금제별로 실제로 다른 것들

Computer Use를 쓰려면 Claude Pro(월 $20) 또는 Max(월 $100·$200) 구독이 필요합니다. Free와 Team·Enterprise는 현재 지원하지 않습니다. 이 부분은 공식 발표에 명확히 나와 있는데, 막상 써보면 요금제 간 차이가 생각보다 구체적입니다.

솔직히 말하면, 3월 26일 Anthropic은 공식적으로 피크타임(평일 오전 5~11시 PT) 동안 5시간 세션 소모가 더 빨라진다고 인정했습니다. Max 20x($200/월) 구독자도 예외가 아닙니다. 무거운 작업은 저녁이나 주말로 미루는 게 현실적으로 유리합니다. Computer Use는 스크린샷 기반 반복 사이클을 돌리기 때문에 일반 대화보다 토큰을 훨씬 많이 소모합니다.

직접 써볼 수 있는 시나리오 6가지

공식 데모와 커뮤니티 실사용 경험을 교차해 추린 시나리오입니다. 처음 시도할 때는 간단한 것부터 시작하는 게 좋습니다.

성공률 50대 50이 나온 이유, 솔직히 짚어봤습니다

Mac 전문 매체 MacStories가 Dispatch + Computer Use 조합을 실제 업무 환경에서 테스트한 결과가 흥미롭습니다. “이메일 요약과 파일 찾기 같은 단순 작업은 안정적으로 처리됐지만, Safari 탭이나 Terminal 세션을 다루는 고난도 작업은 실패하는 경우가 잦았다. 현재 성공률은 대략 50대 50 수준으로, 원격에서 Cowork를 직접 운전하는 수준에 도달하려면 갈 길이 멀다.” Anthropic이 이 수치를 공식 발표한 건 아니지만, 리서치 프리뷰라는 표현이 단순한 마케팅이 아니라는 걸 보여줍니다.

벤치마크에서 인간 수준(72.5%)이 나왔는데 실사용 성공률이 50%인 이유는, OSWorld 테스트 환경과 실제 사용 환경의 차이 때문입니다. OSWorld는 통제된 가상 데스크톱에서 측정하고, 실생활은 팝업창·알림·예상치 못한 화면 변경이 수시로 끼어듭니다. 플립북 방식의 스크린샷 반복 구조는 이런 예외 상황에 취약합니다.

그래서 지금 단계에서 현실적인 사용 전략은, “완전 무인 자동화”가 아니라 “내가 보고 있는 상태에서 반복 작업을 위임”하는 방식입니다. 작업이 끝나면 확인하고, 민감한 결정은 직접 승인하는 구조로 쓰는 게 맞습니다. 이 기능이 무섭게 느껴지는 건 성능보다 심리적 임팩트 때문입니다. 빈 책상 위에서 컴퓨터가 혼자 돌아가는 장면은, 직접 보기 전엔 와닿지 않습니다.

Q&A

마치며

Claude Computer Use는 “AI가 내 컴퓨터를 직접 조작한다”는 문장 하나로 설명되는 기능이지만, 막상 뜯어보면 생각보다 섬세한 조건이 붙어 있습니다. Mac 전용이고, Pro·Max 구독자만 접근 가능하고, 화면 조작은 커넥터가 없을 때만 발동하는 폴백 구조이며, 실사용 성공률은 아직 50대 50 수준입니다.

그런데도 이 기능이 주목받는 건, 완성도 때문이 아니라 방향 때문입니다. 채팅형 AI에서 행동형 AI로 넘어가는 첫 번째 대중적 실험이라는 점에서, 지금 당장 완벽하지 않아도 의미가 있습니다. 벤치마크에서 인간 수준에 도달했고, 이제 실생활 환경의 예외 상황을 얼마나 잘 처리하느냐가 다음 과제입니다.

써볼 생각이라면 지금 당장 Mac이 있고 Pro 이상 구독 중이라면 도전해볼 만합니다. 다만 민감한 작업은 직접 확인하는 구조로, “감독형 사용”을 전제로 시작하는 게 맞습니다.

📚 본 포스팅 참고 자료

1. Anthropic 공식 블로그 — Dispatch and Computer Use (2026.03.23)
2. Anthropic Help Center — Claude March 2026 Usage Promotion
3. Anthropic — Vercept 인수 발표 (2026.02.25)
4. OSWorld 공식 벤치마크 리더보드
5. AwesomeAgents — Best AI for Computer Use 2026 (2026.03.26)
6. Anthropic — Developing Computer Use (기술 블로그)