리서치 프리뷰
Pro · Max 전용
Claude Computer Use,
Mac에서만 되는 이유 있습니다
2026년 3월 23일, Anthropic이 Claude Computer Use를 공식 리서치 프리뷰로 공개했습니다. 클로드가 직접 Mac 화면을 보면서 마우스를 움직이고 키보드를 치는 기능입니다. 공식 트윗은 13만 좋아요, 7천만 뷰를 넘겼지만 — 막상 써보면 기대와 꽤 다른 지점들이 있습니다. 특히 “왜 빠른 작업은 느리고, 느릴 것 같은 작업이 오히려 잘 되는가”라는 구조적 이유를 공식 릴리즈노트와 실제 사용 사례를 교차해서 정리해봤습니다.
Claude Computer Use, 정확히 무슨 일을 하나요?
Claude Computer Use는 Claude가 직접 Mac 화면을 보면서 마우스 클릭, 키 입력, 앱 탐색을 수행하는 기능입니다. 쉽게 말해 사람이 컴퓨터 앞에 앉아 하는 것을 Claude가 대신 하는 구조입니다. 공식 릴리즈노트(출처: Anthropic 공식 릴리즈노트, 2026.03.23)에는 이렇게 나옵니다: “Claude can open files, run dev tools, point, click, and navigate to what’s on your screen to perform tasks itself — with no setup required.”
진입 방식은 두 가지입니다. Claude Cowork(일반 사용자용)와 Claude Code(개발자용), 둘 다에서 Computer Use가 작동합니다. Cowork는 2026년 1월에 출시된 일반 사용자 대상 에이전트 도구이고, Claude Code는 터미널 기반 AI 코딩 도구입니다. 같은 Computer Use 기능이지만 사용 맥락이 다릅니다.
💡 공식 발표 타이밍과 실제 기능 구성을 같이 놓고 보면 흥미로운 점이 있습니다. Computer Use(3.23)는 Dispatch(3.17) 출시 6일 뒤에 나왔습니다. Dispatch(폰에서 Mac에 원격 지시)가 먼저 깔리고, Computer Use가 그 위에 올라타는 구조입니다. Dispatch 없이 Computer Use만 쓰면 반쪽짜리입니다.
현재 지원 OS는 macOS만입니다. Windows와 Linux 지원은 “곧 출시(coming soon)”라고 공식 표기돼 있지만, Anthropic이 별도의 일정을 공개하지 않은 상태입니다.
빠를 것 같은 작업이 오히려 느린 이유 — 두 가지 모드
이 부분이 핵심입니다. Claude Computer Use를 써봤더니 “어떤 작업은 순식간에 끝나고, 어떤 작업은 30분이 넘게 걸렸다”는 후기가 많은데, 이유가 있습니다.
작동 방식은 두 경로로 나뉩니다.
| 모드 | 작동 방식 | 속도 |
|---|---|---|
| 커넥터 모드 | Google Workspace, Slack 등 API 직접 호출 | 빠름 (수초) |
| 스크린샷 모드 | 화면 캡처 → 서버 전송 → 분석 → 클릭 반복 | 느림 (수분~수십분) |
슬랙 메시지 보내기나 구글 캘린더 일정 생성은 API 커넥터가 있어서 눈 깜짝할 사이에 끝납니다. 반면 네이티브 맥 앱 대부분은 커넥터가 없어서 스크린샷 모드로 작동합니다. 화면 캡처를 Anthropic 서버에 올리고, 분석 결과를 받고, 다음 클릭을 결정하고, 다시 캡처하는 루프입니다. PCWorld 기자가 뉴스레터 3개 구독 취소에 30분이 걸린 것이 바로 이 구조 때문입니다. 버그가 아니라 설계입니다.
💡 실제 커넥터 지원 앱과 스크린샷 모드로 작동하는 앱의 목록은 공식 문서에 별도로 나와 있지 않습니다. Anthropic이 공식 답변을 내놓지 않은 부분이기도 합니다. 작업 전에 “이 앱에 커넥터가 있는지”를 먼저 확인하는 것이 시간 낭비를 줄이는 현실적인 방법입니다.
참고로 Anthropic은 2026년 2월에 컴퓨터 제어 전문 AI 스타트업 Vercept AI를 인수했습니다(출처: TechCrunch, 2026.02.25). 이 방향이 일회성 기능이 아닌 장기 로드맵임을 의미합니다. 커넥터 지원 앱이 늘어날수록 스크린샷 모드 의존도는 줄어들 전망입니다.
설정은 3분, 하지만 보안 설정은 따로 해야 합니다
시작 자체는 간단합니다. Claude Desktop 앱을 최신 버전으로 업데이트하고, 설정(Settings) > General > Computer use를 켜면 됩니다. 이후 macOS 시스템 권한 두 가지를 허용해야 합니다: 손쉬운 사용(Accessibility)과 화면 기록(Screen Recording). 앱에 처음 접근할 때마다 Claude가 개별적으로 권한을 요청하는 방식입니다.
Dispatch와 연결해 원격 제어를 쓰려면 추가 조건이 있습니다. Mac이 켜진 상태여야 하고, 절전 모드가 꺼져 있어야 합니다. 외출 중 폰으로 작업을 지시하고 싶다면 이 점을 미리 확인해야 합니다.
⚠️ 시작 전 보안 설정 체크리스트
- 전용 작업 폴더 생성 후 해당 폴더만 접근 허용
- 금융·의료·계약 관련 앱은 차단 목록에 추가 (투자·암호화폐 앱은 기본 차단)
- 기밀 문서가 열린 앱과 브라우저 탭을 먼저 닫기
- 처음엔 파일 정리 같은 저위험 작업부터 시작
- 웹 접근이 필요하면 크롬 익스텐션 허용 사이트를 신뢰할 수 있는 곳으로 제한
Anthropic은 공식적으로 “리서치 프리뷰 기간 중 민감한 정보를 다루는 작업에는 사용을 피해달라”고 권고하고 있습니다(출처: Anthropic 공식 발표, 2026.03.23). 기능 자체는 완성됐지만 안전 가이드라인은 아직 진화 중입니다.
실제로 잘 되는 작업 vs 기대와 달랐던 작업
잘 되는 작업은 공통점이 있습니다. 배치 처리 + 재시도 가능 + 민감도 낮음 + 속도 부담 없음입니다.
파일 정리와 변환이 가장 안정적입니다. Word 파일 수십 개를 PDF로 일괄 변환할 때 Claude는 LibreOffice나 Ghostscript 같은 로컬 도구를 직접 찾아서 활용합니다. 웹 컨버터의 파일 용량 제한을 우회하는 방식입니다. Downloads 폴더 정리도 강점으로, 파일 해시를 비교해 중복을 제거하고 내용 기반으로 파일명을 바꿔줍니다(예: 1.jpg → 마늘-효능-기사-1p.jpg).
데이터 분석 + 로컬 도구 조합도 잘 됩니다. 가계부 앱 백업 파일을 주면 Claude가 직접 추출하고 Python으로 차트를 만들어 PDF 지출 분석 보고서까지 냈다는 사례가 커뮤니티에서 공유됐습니다.
Dispatch와 연결한 원격 자동화는 체감 효과가 큰 기능입니다. 출근길 지하철에서 폰으로 “발표자료 PDF 변환해서 회의 초대에 첨부해줘”라고 보내면, 회사 도착 전에 완료돼 있는 식입니다.
⚠️ 기대와 달랐던 작업들
- Gmail 구독 취소: Google Workspace 커넥터가 아직 없어 Chrome 스크린샷 모드로 작동 — 뉴스레터 3개에 30분
- 복잡한 Excel: 병합 셀·블록 헤더 포함 파일에서 파싱 오류 다발
- 다단계 복잡 작업: 오류율이 높아 두 번째 시도가 필요한 경우가 많음
- 속도가 중요한 작업: 스크린샷 루프 구조상 실시간성이 필요한 작업에는 부적합
벤치마크 수치, 숫자만 보면 오해합니다
Helicone의 비교 자료(출처: Helicone, 2026.03 기준)에 따르면 WebVoyager 웹 태스크 테스트에서 browser-use가 89%, OpenAI Operator가 87%, Claude Computer Use가 56%를 기록했습니다. OS 조작 태스트인 OSWorld에서도 Operator가 38.1%, Claude가 22%로 Claude가 뒤집니다.
그런데 이 수치를 그대로 “Claude가 열등하다”고 읽으면 틀립니다.
WebVoyager는 웹 탐색 중심 태스크입니다. browser-use와 Operator 모두 브라우저 자동화에 특화된 도구입니다. Claude Computer Use의 설계 방향은 브라우저가 아닌 데스크톱 네이티브 앱의 시각적 이해입니다. 병합 셀이 섞인 Excel을 읽고, 사내 ERP의 복잡한 UI에서 판단을 내리는 것이 목표입니다. 이 능력을 측정하는 공개 벤치마크는 아직 존재하지 않습니다.
| 용도 | 추천 | 이유 |
|---|---|---|
| macOS 네이티브 앱 제어 | Claude Computer Use | 브라우저 밖 앱 접근 가능 |
| 순수 웹 자동화 | OpenAI Operator | 웹 태스크 정확도 87%로 높음 |
| 개발자 자체 구축 | browser-use (오픈소스) | 무료 셀프호스팅, 커스터마이징 자유 |
| macOS 아닌 환경 | Computer Use 제외 | Windows·Linux 미지원 (2026.03 기준) |
개발자라면 Anthropic이 API 형태의 computer-use beta(출처: Anthropic 공식 문서 — docs.anthropic.com/en/docs/agents-and-tools/computer-use)도 제공한다는 점을 알아두면 좋습니다. Opus 4.6, Sonnet 4.6 기반으로 플랫폼 제약 없이 활용 가능합니다. 데스크톱 Cowork 버전보다 유연합니다.
토큰 소모가 생각보다 훨씬 큽니다
공식 마케팅이 잘 강조하지 않는 부분입니다. Computer Use는 Claude의 모든 기능 중 토큰 소모가 가장 많은 작업입니다. 스크린샷 모드에서 매 동작마다 화면 이미지를 서버에 올리고 분석해야 하기 때문입니다. 시각적 이해는 텍스트보다 훨씬 많은 토큰을 씁니다.
Reddit Max($200/월) 플랜 사용자 보고: GitHub PR 회귀 테스트 한 건에 사용량 게이지가 52%에서 91%로 뛰었습니다. Max 플랜 한 달치의 약 39%가 작업 하나에 소진된 것입니다.
Pro($20/월) 플랜이라면 몇 가지 작업만으로 한도에 도달할 수 있습니다. 현실적으로 Computer Use를 자주 쓰려면 Max 플랜이 필요한 구조입니다.
작업 전 판단 기준 3가지:
- 이 작업이 속도를 요구하는가? → 그렇다면 Computer Use 부적합
- 실패했을 때 재시도가 가능한가? → 불가능하면 Computer Use 부적합
- 병합 셀·복잡한 서식이 포함된 파일인가? → 있다면 직접 처리하는 편이 낫습니다
플랜별 요금은 Pro $20/월, Max 5x $100/월, Max 20x $200/월입니다(출처: Anthropic 공식 요금 페이지, 2026.03 기준). 단순 계산으로 Max 20x가 Pro 대비 20배의 사용량을 제공하지만, Computer Use를 자주 쓰면 이 20배도 빠르게 소진될 수 있습니다.
프롬프트 인젝션 위험, 실제로 어느 수준인가요?
보안 연구자들이 지적하는 Prompt Injection 문제가 실재합니다. ZombAIs 연구(출처: Hacker News, 166포인트, 2024.10 최초 공개, 2026년 MacOS 버전에도 동일하게 적용)에서 시연된 공격 방식은 이렇습니다. 악성 웹 페이지에 숨겨진 지시문이 있으면, Claude가 그 페이지를 브라우저로 열었을 때 지시를 그대로 실행할 수 있습니다. 사용자 모르게 파일을 전송하거나 C2(Command and Control) 노드가 되는 시나리오까지 시연됐습니다.
Anthropic은 앱별 개별 권한 요청, 민감 앱 기본 차단, 영구 삭제 시 별도 승인 요구, 비밀번호·금융 정보 메모리 제외 등의 안전장치를 구현했습니다. 하지만 Prompt Injection 자체를 완전히 차단하는 기술적 해법은 아직 없습니다.
💡 Anthropic이 제안하는 접근은 “쓰지 말 것”이 아니라 “Claude가 닿을 수 있는 범위를 제한하라”는 것입니다. 전용 작업 폴더, 민감 앱 차단, 신뢰 사이트 제한 — 이 세 가지를 묶으면 실용적인 수준의 위험 관리가 됩니다. 리스크가 0이 되는 것은 아니지만 허용 가능한 범위로 줄어듭니다.
솔직히 말하면 지금 단계의 Computer Use는 “믿고 맡기는 도구”보다는 “범위를 정해두고 감독하는 도구”에 가깝습니다. 완전 자율 모드보다는 특정 폴더와 앱 안에서만 작동하도록 제한해두는 게 현실적입니다.
Q&A — 가장 많이 묻는 5가지
마치며 — 조건부로 써볼 만합니다
Claude Computer Use는 지금 단계에서 “모든 걸 맡길 수 있는 AI 비서”가 아닙니다. 커넥터가 없는 앱에서는 느리고, 토큰을 빠르게 소모하며, 복잡한 서식 파일에서는 오류가 납니다. 이 한계를 알고 시작하면 기대가 정리됩니다.
반면 “배치 처리 + 재시도 가능 + macOS 네이티브 앱”이라는 조건에 맞으면 실제로 유용합니다. Downloads 폴더 정리, Word→PDF 일괄 변환, 데이터 추출 후 리포트 생성 — 이런 작업에서는 손을 놓고 다른 일을 할 수 있습니다.
처음 시작은 파일 정리나 단순 변환처럼 위험 부담이 낮고 결과가 눈에 바로 보이는 작업으로 해보는 게 맞습니다. Claude가 어떤 작업에서 잘 하고 어떤 작업에서 멈추는지 직접 확인한 뒤에, 업무 자동화로 확장하는 순서입니다.
개인적인 판단:
Vercept 인수와 Dispatch 먼저 깔고 Computer Use를 올린 순서를 보면, Anthropic이 이 방향을 장기 플레이로 보고 있다는 게 느껴집니다. 지금 당장의 완성도보다는 “저위험 작업으로 먼저 경험을 쌓아두는 것”이 맞는 타이밍이라는 게 솔직한 생각입니다.
본 포스팅 참고 자료
- Anthropic 공식 릴리즈노트 — support.anthropic.com/en/articles/12138966-release-notes
- Anthropic Computer Use API 공식 문서 — docs.anthropic.com/en/docs/agents-and-tools/computer-use
- Helicone — Browser Use vs Computer Use vs Operator 비교 — helicone.ai/blog/browser-use-vs-computer-use-vs-operator
- TechCrunch — Anthropic acquires Vercept AI (2026.02.25) — techcrunch.com
- Dataconomy — Anthropic Adds Computer Use To Claude On macOS (2026.03.24) — dataconomy.com
본 포스팅은 2026년 3월 27일 기준 공개된 정보를 바탕으로 작성됐습니다. Claude Computer Use는 현재 리서치 프리뷰 단계이며, 본 포스팅 작성 이후 서비스 정책·UI·기능이 변경될 수 있습니다. 특히 지원 OS, 플랜 조건, 커넥터 지원 앱 목록은 Anthropic의 업데이트에 따라 달라질 수 있으니 공식 사이트에서 최신 정보를 확인해주세요.
댓글 남기기