Claude Code v2.1.76+
Sonnet 4.6 / Opus 4.6 호환
Claude Computer Use 써봤습니다
— 되는 것과 위험한 것
3월 23일 Anthropic이 리서치 프리뷰로 공개한 Claude Computer Use. 마우스와 키보드를 AI가 직접 조작하는 기능입니다. 동시에 나온 Auto Mode까지 — 실제로 쓸 수 있는 조건과 쓰면 안 되는 상황을 공식 문서와 실측 데이터로 정리했습니다.
Claude Computer Use, 실제로 어떻게 작동하나요
Claude Computer Use는 AI가 사용자의 컴퓨터 화면을 스크린샷으로 찍어 분석한 뒤, 마우스 클릭·키보드 입력·스크롤을 직접 수행하는 방식으로 동작합니다. Anthropic 공식 문서에 따르면 “perception-action loop(지각-행동 루프)” 구조로, Claude가 현재 화면 상태를 받고 → 행동 명령(특정 좌표 클릭, 텍스트 입력 등)을 내리고 → 결과 화면을 다시 받아 다음 행동을 결정합니다.
이 방식은 Selenium이나 AutoHotkey 같은 기존 자동화 도구와 근본적으로 다릅니다. 기존 도구는 DOM 요소나 윈도우 핸들처럼 명확한 구조를 건드리지만, Claude는 픽셀을 해석합니다. 쉽게 말하면, 사람이 화면을 보고 판단하는 방식과 같습니다. 덕분에 유연하지만, 그만큼 확률적 오류가 생깁니다.
💡 공식 발표 데모에서 Anthropic이 보여준 시나리오: 사용자가 스마트폰으로 “회의 초대에 PDF 첨부해줘”라고 입력 → Claude가 Mac에서 앱을 열고, 피치덱을 PDF로 내보내고, 회의 초대 이메일에 첨부까지 완료. 이게 실제로 작동합니다. (출처: Anthropic × CNBC, 2026.03.24)
Cowork의 Dispatch 기능과 연동하면 스마트폰에서 명령을 내리고, 집 PC가 혼자 작업을 끝냅니다. 2026년 3월 기준 Anthropic이 공식적으로 지원하는 시나리오입니다.
Auto Mode가 같은 날 나온 건 우연이 아닙니다
3월 23일 Computer Use, 3월 24일 Auto Mode. 하루 차이 출시가 의도적 순서라는 걸 공식 블로그에서 읽을 수 있습니다.
Claude Code는 원래 파일 쓰기·Bash 명령 하나하나에 사용자 승인을 요구했습니다. 안전하지만, 큰 작업을 시작하고 자리를 비울 수 없었죠. 개발자들은 --dangerously-skip-permissions라는 플래그로 이를 우회했는데, 이름에 “dangerously(위험하게)”가 들어간 데서 알 수 있듯 Anthropic이 원하는 방향이 아니었습니다.
💡 공식 발표문과 실제 출시 흐름을 같이 놓고 보니 이런 차이가 보였습니다.
Computer Use가 나왔다 = PC를 통째로 맡길 수 있는 상황이 됐다 → 그런데 Claude가 매 명령마다 멈추고 확인을 요청하면 쓸 수 없다 → Auto Mode로 “승인 없이 달리되, 위험한 건 막는” 중간 단계를 제공. 두 기능은 세트입니다.
Anthropic 공식 블로그(claude.com/blog/auto-mode, 2026.03.24)는 Auto Mode를 “더 적은 중단으로 더 긴 작업을 실행하게 하는 중간 경로(middle path)”라고 정의합니다. Computer Use의 실용성을 높이기 위한 전제 조건으로 Auto Mode가 설계된 것입니다.
쓸 수 있는 플랜과 못 쓰는 플랜이 나뉩니다
여기가 핵심입니다. 많은 분들이 놓치는 부분이기도 합니다.
| 플랜 | Computer Use | Auto Mode | 비고 |
|---|---|---|---|
| Team | ✅ | ✅ (리서치 프리뷰) | 2026.03.24 기준 우선 지원 |
| Enterprise | ✅ | 🔜 출시 예정 | Admin이 disableAutoMode로 비활성화 가능 |
| API 사용자 | ✅ | 🔜 출시 예정 | — |
| Max ($100/월) | ✅ | ❌ 현재 미지원 | Anthropic 공식 미언급 |
ZDNET 편집자가 직접 “나는 Max 플랜이라 아직 못 쓴다”고 명시했습니다. 월 $100짜리 Max 플랜 사용자가 오히려 Auto Mode를 못 쓰는 상황입니다. (출처: ZDNET, 2026.03.24) Team 플랜이 Auto Mode의 첫 수혜자입니다.
데스크탑 앱에서는 Auto Mode가 기본 비활성화 상태입니다. 사용하려면 Settings → Claude Code에서 직접 켜야 하고, CLI에서는 claude --enable-auto-mode 명령어로 활성화합니다. (출처: Anthropic 공식 블로그, claude.com/blog/auto-mode)
보안 전문가가 밤새 걱정하는 이유가 있습니다
대부분의 리뷰가 “이런 것도 됩니다”에 집중하지만, Computer Use가 가진 구조적 특성을 짚어두겠습니다. 공식 문서와 보안 연구자의 분석을 교차해보면 나오는 지점입니다.
⚠️ Anthropic이 직접 명시한 경고
“Computer use는 아직 Claude의 코딩·텍스트 처리 능력에 비해 초기 단계입니다. Claude는 실수를 할 수 있으며, 세이프가드를 지속적으로 개선하고 있지만 위협도 끊임없이 진화합니다.” (출처: Anthropic 공식 발표, CNBC 보도, 2026.03.24)
이 경고가 단순한 법적 면책이 아닌 이유는, Computer Use가 기존 자동화와 달리 픽셀 해석 기반의 확률적 판단을 하기 때문입니다. 14년 이상 소프트웨어를 개발해온 보안 연구자 Kunal Ganglani의 분석에 따르면, 문제는 간단합니다: “LLM의 모든 취약점이 이제 OS 수준의 취약점이 됩니다.” (출처: kunalganglani.com, 2026.03.24)
OWASP LLM Top 10에서 1위가 프롬프트 인젝션입니다. Computer Use와 결합하면 어떻게 될까요? 구체적인 시나리오입니다 — 경쟁사 웹사이트에 흰색 배경에 흰색 글씨로 악성 명령이 숨겨져 있다면, Claude의 시각 시스템은 그걸 읽고 실행 명령으로 처리할 수 있습니다. 이메일을 전달하거나, 파일을 외부로 보내거나. 이게 현재 기술 수준에서 막혀있다는 보장은 없습니다. (출처: OWASP LLM Top 10, 2026; kunalganglani.com)
Anthropic도 이를 알기에 공식 문서에서 “격리된 환경(isolated environment)에서 사용하라”고 반복합니다. 즉, 실제 업무 PC에서 민감한 데이터가 있는 환경으로 바로 쓰는 건 Anthropic 자체가 권장하지 않습니다.
쓰기 전에 생각해볼 것 하나 — “이 작업이 잘못됐을 때 어디까지 피해가 가나?”를 먼저 따져야 합니다.
Auto Mode는 무료가 아닙니다 — 토큰 비용 이야기
Auto Mode를 켜면 Claude가 매 도구 호출 전에 AI 분류기(classifier)를 돌립니다. Anthropic이 공식 블로그에서 직접 밝혔습니다: “Auto mode may have a small impact on token consumption, cost, and latency for tool calls.” (출처: claude.com/blog/auto-mode, 2026.03.24)
“small(작은)”이라고 했지만, 실제 사용에서 이 비용이 얼마나 나오는지는 아직 공개되지 않았습니다. Anthropic이 구체적인 수치를 밝히지 않은 부분입니다. 다만 분류기가 매 도구 호출마다 실행된다는 점, 그리고 Computer Use는 수백 번의 스크린샷-분석-클릭 루프를 반복한다는 점을 생각하면, 긴 작업일수록 누적 비용이 의미 있는 수준이 될 수 있습니다.
실사용 데이터 — realcoding.blog (2026.02.20)
1M 컨텍스트를 켠 Claude Code를 쓴 개발자의 후기: “$50 무료 크레딧이 3시간 만에 증발했다. 끝으로 갈수록 쿼리 하나에 $2~3씩 빠지는 현실.” Computer Use는 1M 컨텍스트와 Auto Mode가 동시에 작동하는 시나리오입니다. 긴 작업을 돌리기 전에 비용을 계산하는 게 맞습니다.
비교 수치로 생각해보면: Opus 4.6 입력 $15/백만 토큰, Sonnet 4.6 입력 $3/백만 토큰입니다. (출처: Anthropic 공식 요금표, 2026.03 기준) 30분짜리 Computer Use 작업이 스크린샷 200회를 찍는다면, 각 스크린샷이 토큰을 소모하는 방식입니다. 따라서 Auto Mode를 켜고 Computer Use를 장시간 돌릴 경우 비용 사전 시뮬레이션이 필요합니다.
실사용에서 보이는 것들
Reddit 사용자들이 3월 24일 이후 공유한 실사용 후기를 종합하면, 몇 가지 패턴이 일관되게 나옵니다.
✅ 잘 되는 것들
- 반복적인 UI 조작 (폼 작성, 파일 이동, 앱 전환)
- 스프레드시트 데이터 정리 및 내보내기
- 회의 초대장 첨부 파일 추가처럼 명확한 순서가 있는 작업
- Cowork Dispatch와 연동해 스마트폰으로 원격 지시
⚠️ 막히는 것들 (Anthropic 공식 인정)
- 예상치 못한 팝업 다이얼로그 — Claude가 “Allow”를 눌러버릴 수 있음
- 픽셀 좌표 기반이라 화면 해상도·배율이 달라지면 오클릭 발생
- Auto Mode 분류기가 안전한 명령도 가끔 차단 (Anthropic 공식 인정)
- 민감한 환경(은행 앱, 비밀번호 매니저)에서 사용 시 위험 증가
ZDNET 편집자의 직접 표현 (2026.03.24)
“Auto Mode는 가드레일을 없애면서 길가에 ‘절벽 주의’ 표지판을 세우는 것처럼 느껴진다.” 편의성이 올라가는 만큼, 방어막은 얇아진다는 뜻입니다.
결론적으로 말하면, Computer Use + Auto Mode 조합은 “격리된 VM 환경 + 민감한 데이터가 없는 PC”에서 정해진 반복 작업에 쓸 때 가장 안전합니다. 반대 상황 — 실제 업무 PC에서 인터넷 접속 상태로, 아무 작업이나 시키는 것 — 은 Anthropic 자신도 권장하지 않습니다.
자주 나오는 질문 5가지
Q1. Claude Computer Use와 Claude Cowork는 다른 건가요?
다릅니다. Cowork는 비개발자용 데스크탑 에이전트로 파일 관리·브라우저 탐색 등을 다루고, Computer Use는 Claude Code 안에서 마우스·키보드를 직접 조작하는 기능입니다. Dispatch(3월 17일), Channels(3월 20일), Computer Use(3월 23일), Auto Mode(3월 24일)는 모두 연결된 생태계입니다. Dispatch로 원격 지시 → Computer Use로 실행하는 흐름이 가장 강력한 조합입니다.
Q2. Auto Mode를 쓰면 –dangerously-skip-permissions는 안 써도 되나요?
대부분의 일반적인 사용에서는 그렇습니다. Anthropic이 Auto Mode를 –dangerously-skip-permissions의 “더 안전한 대안”으로 명시했습니다. 다만 Auto Mode도 여전히 격리된 환경 사용을 권장하며, 완전한 안전을 보장하지는 않습니다. –dangerously-skip-permissions는 격리된 환경 외에서는 사용하지 말라는 게 Anthropic의 공식 입장입니다.
Q3. Mac 전용인가요? Windows에서도 됩니까?
Anthropic 공식 발표 기준으로 macOS에서 먼저 시연됐습니다. Windows 지원 범위에 대해 Anthropic이 공식 답변을 내놓지 않은 부분입니다. Cowork Windows 버전은 2026년 2월 10일 출시됐지만, Computer Use의 Windows 지원은 별도 확인이 필요합니다. 공식 문서를 직접 확인하는 걸 권장합니다.
Q4. Pro 플랜에서도 Computer Use가 되나요?
Computer Use 자체는 Cowork를 통해 일부 접근 가능하지만, Claude Code의 Auto Mode는 현재 Team 플랜 우선, Max 플랜은 미지원 상태입니다. Pro 플랜의 지원 여부는 Anthropic이 공식적으로 명시하지 않았습니다. 플랜별 지원 현황은 claude.com에서 최신 공지를 확인하는 게 정확합니다.
Q5. Auto Mode 분류기가 뭘 막습니까?
Anthropic 공식 문서(code.claude.com/docs/en/permission-modes)에 따르면 기본적으로 차단하는 항목은 대량 파일 삭제, 민감한 데이터 외부 유출, 악성 코드 실행입니다. 반대로 일반적인 파일 쓰기, Bash 명령, 코드 수정은 자동으로 진행됩니다. 다만 문맥이 불명확하면 안전한 명령도 차단될 수 있고, 반대로 위험한 명령이 통과될 수도 있다고 Anthropic이 직접 인정했습니다.
마치며
Claude Computer Use는 기술적으로 인상적입니다. 말 한마디로 PC가 작업을 완료하는 그림은 실제로 작동합니다. 그런데 사용 조건이 생각보다 복잡합니다.
Auto Mode는 Team 플랜부터이고, $100짜리 Max 플랜에는 아직 없습니다. Computer Use는 리서치 프리뷰 단계이고, Anthropic 자신이 격리된 환경에서만 쓰라고 권고합니다. 보안 전문가들이 지적하는 프롬프트 인젝션 위험은 현재 기술로 완전히 해결되지 않았습니다. 비용도 작업 시간에 비례해 올라갑니다.
쓸 수 있는 조건이라면 강력합니다. 쓰기 전에 이 조건들을 먼저 확인하는 것이 순서입니다.
본 포스팅 참고 자료
- Anthropic 공식 블로그 — Auto Mode 발표 (claude.com/blog/auto-mode, 2026.03.24)
- CNBC — Claude Computer Use 공식 보도 (2026.03.24)
- ZDNET — Claude Code Auto Mode 심층 분석 (2026.03.24)
- InfoWorld — Claude Code Auto Mode 기술 분석 (2026.03.25)
- Kunal Ganglani — Claude Computer Use 보안 위험 분석 (2026.03.24)
- realcoding.blog — Claude Code 1M 실사용 비용 후기 (2026.02.20)
- Anthropic — Claude Code Permission Modes 공식 문서
※ 본 포스팅 작성 이후 서비스 정책·UI·기능이 변경될 수 있습니다. Claude Computer Use와 Auto Mode는 현재 리서치 프리뷰 단계로, 플랜별 지원 범위와 기능 사양은 Anthropic의 공식 발표에 따라 달라질 수 있습니다. 모든 수치와 조건은 2026.03.24 기준이며, 최신 정보는 claude.com 및 code.claude.com/docs에서 확인하시기 바랍니다.
댓글 남기기