Claude Computer Use
리서치 프리뷰
macOS 전용
Claude Computer Use, 직접 써봤습니다 — 되는 것과 막히는 것
2026년 3월 23일, Anthropic이 Claude Computer Use를 리서치 프리뷰로 공개했습니다. Mac 화면을 AI가 직접 보면서 마우스를 움직이고 키보드를 치는 기능입니다. “이제 AI가 진짜 내 컴퓨터를 쓴다”는 말이 맞긴 한데 — 조건이 있고, 못 하는 것도 있고, 실제로 쓰다 보면 다르게 느껴지는 부분이 꽤 있습니다.
Claude Computer Use가 실제로 하는 일
Claude Computer Use는 클로드가 Mac 화면을 스크린샷으로 인식하고, 마우스 클릭과 키보드 입력으로 앱을 조작하는 기능입니다. Anthropic 공식 릴리즈 노트(2026.03.23 기준, docs.anthropic.com)에 따르면 “파일 열기, 개발 도구 실행, 화면에 보이는 것을 직접 클릭하고 탐색해 작업을 수행”한다고 명시되어 있습니다. 설정이 별도로 필요 없다는 점이 포인트입니다.
실제로 처리 가능한 작업 목록은 이렇습니다. Finder에서 파일 열기·편집·저장, 브라우저로 웹 탐색 및 폼 작성, 스프레드시트 데이터 입력, 개발자라면 IDE에서 코드 수정 및 테스트 실행, PR 제출까지 자동으로 됩니다. 한마디로 사람이 마우스로 할 수 있는 반복 작업은 대부분 위임이 가능한 구조입니다.
다만 여기서 중요한 점 하나. 공식 출시 플랫폼은 Claude Cowork와 Claude Code, 두 가지뿐입니다. 일반 Claude 채팅 인터페이스에서는 이 기능이 활성화되지 않습니다.
화면 조종보다 API를 먼저 쓰는 이유
💡 공식 발표문과 실제 작동 흐름을 같이 놓고 보니, 대부분의 사람이 이 기능을 오해하고 있다는 걸 알게 됐습니다.
많은 사람이 Claude Computer Use를 “AI가 화면을 보면서 마우스를 움직이는 기능”으로만 알고 있습니다. 그런데 실제 작동 순서는 다릅니다. Anthropic이 공식 발표에서 명확하게 밝힌 구조를 그대로 정리하면 이렇습니다.
즉, Google Drive나 Slack이 연동돼 있다면 Claude는 굳이 화면을 보지 않습니다. API로 바로 처리합니다. 화면 제어는 말 그대로 마지막 수단입니다. 이 구조를 모르면 “왜 이렇게 빨리 끝나지?” 또는 “왜 화면이 안 움직이지?”를 동시에 경험하게 됩니다.
솔직히 말하면 이 구조는 영리합니다. API가 있으면 안정적이고 빠르게 처리하고, 없을 때만 화면을 보는 방식이라 실패율이 줄어듭니다. 다만 어떤 커넥터가 연동되어 있는지 미리 확인하지 않으면 예상과 다른 방식으로 작동해서 당황할 수 있습니다.
Dispatch 없으면 반쪽짜리입니다
Computer Use만 단독으로 쓰면 “결국 내가 컴퓨터 앞에 앉아 있어야 하는 거 아닌가?”라는 의문이 생깁니다. 맞습니다. 바로 여기에 Dispatch가 들어옵니다.
Dispatch는 Anthropic이 2026년 3월 17일 리서치 프리뷰로 출시한 모바일 연동 기능입니다 (출처: Anthropic 공식 릴리즈 노트, 2026.03.17). iPhone이나 Android에서 Claude 앱을 열고 작업을 지시하면, 집이나 사무실에 있는 Mac에서 Claude가 그 작업을 로컬로 실행합니다. 조합이 완성되는 순간 이 기능의 실용성이 완전히 달라집니다.
🔄 실제 사용 흐름 예시
- 출근 버스에서 iPhone으로 Dispatch 실행
- “Downloads 폴더의 3개 엑셀 합쳐서 Q1 보고서 만들어줘” 입력
- 집 Mac에서 Claude가 파일 열고 데이터 합치고 저장 시작
- 회사 도착할 때 완성된 파일 확인
중요한 점은 파일 삭제처럼 되돌리기 어려운 작업은 Dispatch가 먼저 알림을 보내 승인을 요청한다는 것입니다. 그리고 폰과 Mac 사이 통신은 종단 간 암호화가 적용되어 있습니다 (출처: AIToolsRecap 리뷰, 2026.03.23). 이 부분은 생각보다 꼼꼼하게 설계됐습니다.
Anthropic이 직접 경고한 것들
⚠️ Anthropic이 공식 발표에서 직접 이렇게 말했습니다: “Computer use는 Claude의 코딩·텍스트 처리 능력에 비해 아직 이른 단계입니다. 복잡한 작업은 여러 번 시도가 필요할 수 있습니다.” (출처: Anthropic 공식 블로그, claude.com/blog/dispatch-and-computer-use)
AI 자동화 기능이 나오면 으레 “이제 뭐든 다 된다”는 식의 반응이 나옵니다. 그런데 이번에는 Anthropic 자신이 먼저 선을 그었습니다. 출시 당일 공식 블로그 포스트에서 “코딩이나 텍스트 처리보다 이른 단계”라고 명시했고, 복잡한 멀티앱 워크플로우는 여러 번 시도할 수 있다고 밝혔습니다. 이 점을 모르고 쓰면 실망할 수 있습니다.
Anthropic이 공식적으로 권고한 제한 사항은 이렇습니다. 뱅킹, 비밀번호, 민감한 업무 계정에는 리서치 프리뷰 기간 동안 사용을 피하라고 했습니다. 새로운 앱을 건드리기 전에 Claude가 접근 권한을 먼저 요청하도록 설계됐지만, 권한을 넓게 열어두면 그만큼 리스크도 늘어납니다.
Auto mode(같은 날 출시된 Claude Code 업데이트) 역시 TechCrunch 보도(2026.03.24)에 따르면 안전 판단 기준을 Anthropic이 아직 공개하지 않은 상태입니다. “어떤 작업이 안전하고 어떤 게 위험한지 판단하는 구체적 기준을 공개하지 않았다”는 점은 개발자라면 도입 전에 반드시 짚어야 할 부분입니다.
프롬프트 인젝션, 생각보다 현실적인 문제입니다
💡 “AI가 내 컴퓨터를 안전하게 다룬다”는 믿음을 흔드는 내용이라, 따로 정리해 뒀습니다.
프롬프트 인젝션이란 AI가 처리 중인 웹 페이지나 문서 안에 악의적인 명령이 숨겨져 있을 때, AI가 그 명령을 실제 지시로 착각해 의도치 않은 행동을 하는 공격 방식입니다. Claude Computer Use가 웹 브라우저를 조종하면서 임의의 웹 페이지를 방문하면, 그 페이지에 숨겨진 텍스트가 Claude의 행동을 바꿀 수 있습니다.
Reddit 커뮤니티(/r/ArtificialIntelligence, 2026.03.24)에서 이미 이 문제가 논의됐습니다: “신뢰할 수 없는 웹사이트를 열면서 로컬 컴퓨터 제어권을 주는 건 실제 위험”이라는 의견이 다수였습니다. 학술 논문(arxiv.org, 2026.03.24)에서도 Claude Desktop, Claude Code를 포함한 7개 AI 클라이언트의 프롬프트 인젝션 취약성을 조사한 결과가 공개됐습니다.
Anthropic은 자동 취약성 스캔과 프롬프트 인젝션 감지를 내장했다고 밝혔지만 (출처: saasnik.com 분석, 2026.03.24), Medium 분석글(2026.03.15)은 “Auto mode가 사람의 피로도는 줄이지만, 여전히 같은 유형의 인젝션 공격에는 취약하다”고 지적했습니다. 스캐너를 통과하는 공격도 존재한다는 뜻입니다.
실용적인 조언을 하나 드리자면, Computer Use로 웹 브라우저를 쓸 때는 사전에 확인된 신뢰할 수 있는 도메인만 방문하도록 범위를 좁혀 지시하는 것이 지금 단계에서 현실적인 대응입니다.
경쟁 서비스와 한 줄 비교
💡 같은 “컴퓨터 제어 AI” 카테고리 안에서도 무엇이 어떻게 다른지 놓치기 쉬운 부분이 있었습니다.
| 서비스 | 운영 주체 | 특징 | 한계 |
|---|---|---|---|
| Claude Computer Use | Anthropic | Permission-first, API 커넥터 우선 | macOS 전용, Pro·Max만 |
| OpenClaw | 오픈소스 | 모델 무관, 5,700+ 커뮤니티 스킬 | 직접 설치, 보안 리스크 높음 |
| Perplexity Computer | Perplexity AI | 웹 탐색·리서치 중심 | 일반 데스크톱 작업은 범위 좁음 |
| Microsoft Copilot Actions | Microsoft | Microsoft 365 생태계 깊은 통합 | Windows·Office 앱 외 제한 |
Claude Computer Use의 실질적 차별화는 Permission-first 설계와 API 커넥터 우선 아키텍처입니다. 경쟁 도구들보다 보안 측면에서 한 걸음 더 신경 쓴 구조인 건 맞습니다. 다만 macOS 전용이라는 제약은 기업 환경 80% 이상이 Windows인 현실과 충돌합니다. Anthropic이 Windows 지원을 개발 중이라고 밝혔지만, 공개 일정은 현재까지 발표하지 않은 상태입니다.
쓰기 전에 확인해야 할 조건 3가지
“Pro 구독이면 바로 되는 거 아닌가요?”라는 질문이 많습니다. 맞긴 한데, 생각보다 조건이 더 있습니다.
요금제 확인
Pro($20/월) 또는 Max($100~/월) 구독 필요. Free 플랜은 지원 안 됩니다.
OS 확인
macOS만 지원합니다. Windows·Linux는 개발 중이고 출시 일정은 아직 공개되지 않았습니다.
앱 버전 확인
Claude Desktop을 최신 버전으로 업데이트해야 합니다. Cowork 또는 Code 모드로 전환 후 폴더 접근 권한을 부여해야 시작됩니다.
한 가지 더. Max 구독자는 출시 첫날부터 접근할 수 있었고, Pro 구독자는 순차적으로 며칠에 걸쳐 풀렸습니다(출처: Anthropic 릴리즈 노트, 2026.03.23). 활성화됐는지 확인이 안 된다면 24~48시간 후에 다시 확인해보는 것이 현실적입니다.
국내 사용자 관점에서 한 가지 현실적인 허들이 있습니다. Claude 구독은 USD 기준으로만 결제되고, 원화 요금제나 UPI 같은 국내 결제 방식이 없습니다. Pro $20은 환율에 따라 약 2만 7천~3만 원 수준이고, 해외 결제 수수료와 부가세까지 더하면 체감 비용은 더 올라갑니다. ChatGPT가 이미 원화 요금제를 지원하는 것과 비교하면 Anthropic이 아직 이 부분을 해결하지 못한 상황입니다.
자주 묻는 질문
마치며
Claude Computer Use는 “AI가 드디어 내 컴퓨터를 직접 쓴다”는 의미에서 분명한 전환점입니다. 그런데 막상 뜯어보면 지금 단계에서 쓸 수 있는 사람과 조건이 꽤 좁습니다. Mac 유저, Pro 이상 구독자, 민감하지 않은 반복 작업, 신뢰할 수 있는 웹사이트 범위 내. 이 조건에 다 맞는다면 Dispatch와 함께 쓰는 비동기 작업 자동화는 지금 당장 체감 효용이 있습니다.
기대했던 것과 달랐던 부분은 “AI 자율화 = 더 안전”이 아니라는 점입니다. Anthropic이 직접 인정했듯 프롬프트 인젝션 스캐너를 통과하는 공격도 존재하고, Auto mode의 안전 판단 기준도 아직 공개 전입니다. 기능이 강해질수록 리스크 관리가 더 중요해지는 구조입니다.
개인적으로는 반복적인 파일 정리나 간단한 보고서 취합처럼, 실수해도 복구 가능한 작업부터 천천히 써보는 것을 권합니다. 리서치 프리뷰가 더 성숙해지면서 Windows 지원과 안전 기준 공개가 함께 이뤄지면 훨씬 폭넓게 쓸 수 있을 것 같습니다.
본 포스팅 참고 자료
- Anthropic 공식 릴리즈 노트 — docs.anthropic.com/en/release-notes/claude-apps
- Anthropic 공식 블로그 — claude.com/blog/dispatch-and-computer-use
- TechCrunch — Anthropic hands Claude Code more control, but keeps it on a leash (2026.03.24) — techcrunch.com
- Free Press Journal 기술 분석 — Anthropic Launches Claude Computer Use For Macs (2026.03.24)
- Dataconomy — Anthropic Adds Computer Use To Claude On MacOS (2026.03.24)
- arxiv.org — AI-assisted Development Tools Prompt Injection Vulnerability (2026.03.24) — arxiv.org
본 포스팅은 2026년 3월 26일 기준으로 작성됐습니다. 본 포스팅 작성 이후 서비스 정책·UI·기능이 변경될 수 있습니다. Claude Computer Use는 현재 리서치 프리뷰 단계로, 출시 이후 스펙·지원 요금제·지원 OS가 변경될 수 있습니다. 최신 정보는 Anthropic 공식 릴리즈 노트에서 확인하시기 바랍니다.
댓글 남기기