Claude Computer Use가 뭔지 30초 요약

2026년 3월 23일, Anthropic이 Claude Computer Use를 리서치 프리뷰로 공개했습니다. Claude가 사용자의 Mac 화면을 직접 스크린샷으로 보면서 마우스를 클릭하고 키보드를 치는 기능입니다. (출처: Anthropic 공식 블로그, 2026.03.23)

Claude Cowork와 Claude Code 두 곳에서 모두 쓸 수 있습니다. 지원 플랜은 Claude Pro($20/월)와 Claude Max($100~$200/월)이고, macOS 전용입니다. Windows·Linux는 현재 지원하지 않고, 언제 지원할지 공개 일정이 없습니다.

같은 시기 출시된 Dispatch 기능과 묶어서 쓰면 더 재밌어집니다. iPhone에서 작업을 지시하면 집에 있는 Mac이 알아서 실행하는 구조입니다. 출퇴근 중에 “이 파일 PDF로 변환해서 회의 캘린더에 첨부해 둬”라고 지시하고 회사 도착하면 끝나 있는 시나리오가 됩니다.

▲ 목차로 돌아가기

두 가지 작동 방식 — 속도 차이가 핵심입니다

Claude Computer Use는 겉보기엔 하나의 기능처럼 보이지만, 실제론 작동 방식이 두 갈래로 나뉩니다. 이걸 모르면 데모 영상처럼 빠르게 움직이길 기대했다가 실망하기 쉽습니다.

핵심은 이겁니다. 내가 쓰려는 앱에 커넥터가 있는지 없는지가 속도를 결정합니다. 설정 전에 Claude Cowork의 커넥터 목록부터 확인하는 게 먼저입니다.

공식 문서에 명확하게 나와 있습니다. “Claude는 가장 정확한 방법을 먼저 시도하며, 슬랙 커넥터를 통한 메시지 수신은 수 초 안에 끝나지만 화면을 통한 슬랙 탐색은 훨씬 오래 걸리고 오류도 많습니다.” (출처: Claude 공식 헬프센터, 2026.03.23)

▲ 목차로 돌아가기

벤치마크 수치 직접 확인했습니다

독립 검증 기관인 Helicone의 비교 분석에 따르면, 웹 작업 평가 기준인 WebVoyager에서 Claude Computer Use는 56%를 기록했습니다. 반면 browser-use(오픈소스)는 89%, OpenAI Operator는 87%입니다. OS 레벨 작업 평가인 OSWorld에서는 Claude가 22%, Operator가 38.1%입니다. (출처: Helicone 비교 분석, Shareuhack 재인용 2026.03.23)

숫자만 보면 실망스럽습니다. 그런데 맥락이 중요합니다. OSWorld는 주로 OS 레벨 명령 실행을 테스트하는 벤치마크인데, Claude Computer Use는 그쪽 방향으로 설계된 게 아닙니다. Claude의 설계 목적은 데스크탑 앱 화면을 시각적으로 이해하고 판단하는 것인데, 현재 이걸 정량화하는 공개 벤치마크가 없습니다. OSWorld 22%가 Claude Computer Use의 전체 성능을 대표하진 않습니다만, 경쟁사 대비 낮은 건 사실입니다.

MacStories의 John Voorhees는 파일 관리, 데이터 분석, 웹 리서치, 이메일 등 12개 태스크를 테스트했고 절반만 문제없이 완료됐다고 밝혔습니다. 단순한 작업(앱 열기, 파일 찾기, 문서 요약)은 됩니다. 복합적인 흐름(스프레드시트 분석 → 발표자료 생성 → 이메일 첨부)은 중간에 멈추거나 미완성으로 끝납니다. (출처: MacStories 실사용 테스트, findskill.ai 재인용, 2026.03.26)

▲ 목차로 돌아가기

Pro 플랜에서 쓰다 보면 생각보다 빨리 한도가 찹니다

Claude Computer Use를 쓸 때 토큰이 얼마나 나가는지 공식 문서에는 구체적인 수치가 없습니다. 그런데 실사용 데이터가 말해주는 게 있습니다.

Reddit의 Max $200 플랜 구독자는 GitHub PR 회귀 테스트 하나를 돌렸더니 사용량이 52%에서 91%로 뛰었다고 밝혔습니다. 이유는 구조적입니다. 스크린샷 루프 모드에서는 매 단계마다 화면 이미지를 Anthropic 서버에 전송하는데, 시각 정보 처리가 Claude 기능 중 토큰 소모가 가장 큰 연산이기 때문입니다. 텍스트 대화 몇십 번치가 스크린샷 분석 한 번과 맞먹을 수 있습니다.

Pro $20 플랜이 불가능하진 않습니다. 단, 간단한 저부담 태스크(파일 정리, 문서 요약) 위주로 제한적으로 쓰는 경우에 한해서입니다. 복잡한 멀티스텝 작업을 반복해야 한다면, 한도 소진 속도가 예상보다 훨씬 빠릅니다.

태스크를 넘기기 전 자문해볼 세 가지입니다. 이 작업이 속도가 필요한가? 실패해도 재시도 가능한가? 복잡한 서식(합쳐진 엑셀 셀 등)이 포함돼 있는가? 셋 중 하나라도 해당되면 Computer Use보다 다른 방법을 먼저 검토하는 게 낫습니다.

▲ 목차로 돌아가기

Vercept 인수가 말해주는 방향이 있습니다

2026년 2월 25일, Anthropic은 컴퓨터 제어 AI 전문 스타트업인 Vercept AI를 인수했습니다. Vercept의 핵심 기술은 AI가 화면을 “보고” 행동하는 것, 즉 스크린 기반 에이전트 제어입니다. (출처: Anthropic 공식 뉴스, 2026.02.25) 이 인수 발표 직후, UiPath 주가가 하락했습니다. 기업 RPA(로봇 프로세스 자동화) 시장에서 Vercept의 기술이 직접 경쟁 신호로 읽혔기 때문입니다.

이 흐름을 보면 Computer Use는 리서치 프리뷰라는 이름이 붙었지만, Anthropic이 오래 가져가려는 기능임이 분명합니다. 현재 50%대 성공률이 출발점이고, Vercept 기술이 녹아드는 향후 업데이트에서 이 수치가 올라갈 가능성이 높습니다.

개발자 커뮤니티에서 한 명이 남긴 말이 인상적습니다. “Dispatch와 Computer Use를 /schedule 명령과 조합하면 크론잡처럼 백그라운드에서 어떤 앱이든 제어하는 인프라가 됩니다. 이건 더 이상 AI 어시스턴트가 아닙니다.” (출처: NowadAIs 분석, Gagan Saluja X 인용, 2026.03.25) 인프라로서의 AI가 어떤 모습인지를 Computer Use가 처음으로 Mac 사용자들에게 실제 경험시켜주고 있습니다.

▲ 목차로 돌아가기

실제로 써볼 만한 태스크와 피해야 할 태스크

초반 72시간 실사용 사례를 분석하면 패턴이 보입니다. 잘 되는 태스크는 공통점이 있습니다. 반복적이고, 실패해도 다시 시도 가능하고, 민감 정보가 없고, 속도에 여유가 있는 것입니다.

초반 사용자들이 실제로 가장 많이 쓴 케이스는 마케팅 자료에 나오는 화려한 것들이 아니었습니다. 의뢰인 노트 읽어 초안 작성 후 Google Docs에 붙여넣기, 경쟁사 가격 페이지 스크린샷 찍어 비교표 만들기, PDF 인보이스 읽어 스프레드시트에 항목 입력 반복, LinkedIn 프로필 검색 후 CRM에 요약 노트 추가 같은 단순 반복 작업들입니다. 화려하지 않지만 실제 시간을 아끼는 태스크들입니다.

직접 시작한다면 Downloads 폴더 정리나 파일 일괄 변환부터 해보는 걸 권합니다. 위험도가 낮고 결과가 눈에 바로 보이며, Claude의 행동 패턴을 파악하기 좋은 태스크입니다.

▲ 목차로 돌아가기

보안 함정 — 여기서 멈춰야 합니다

AI에게 화면 제어권을 주는 건 편리하지만, 생각해봐야 할 지점이 있습니다. Anthropic 공식 문서에도 직접 적혀 있습니다. “Computer Use가 활성화되면 Claude는 화면에 보이는 모든 정보를 볼 수 있습니다. 민감한 문서, 개인정보, 타인의 사적 데이터 포함해서요.” (출처: Claude 공식 헬프센터, 2026.03.23)

ZombAIs 연구팀은 구체적인 공격 경로를 실증했습니다. 악의적으로 설계된 웹 페이지 안에 숨겨진 지시문이 있으면, Claude가 그 페이지를 탐색하는 과정에서 의도치 않은 명령을 실행할 수 있습니다. 이를 프롬프트 인젝션이라고 합니다. Anthropic이 자동 스캔 방어를 구축했다고 밝혔지만, 같은 공식 문서에서 “이 방어가 완벽하지 않으며, Claude가 가끔 이 경계를 벗어나 행동할 수 있다”고도 인정합니다.

실용적인 방어책은 작업 전용 폴더를 만들어 Claude 접근 범위를 그 폴더로 제한하는 것, 금융·의료 앱을 차단 목록에 추가하는 것, 시작 전 민감 정보가 담긴 앱·탭을 닫는 것입니다. 위험을 없애는 게 아니라, 위험이 닿을 수 있는 범위를 줄이는 게 현실적인 전략입니다.

▲ 목차로 돌아가기

자주 나오는 질문 5개

▲ 목차로 돌아가기

마치며

Claude Computer Use는 흥미롭지만 아직 완성품이 아닙니다. OSWorld 22%, 실사용 성공률 50%라는 수치가 현재 위치를 솔직하게 보여줍니다. 그런데 Anthropic이 Vercept를 인수하고 Dispatch와 묶어 공개한 타이밍을 보면, 한 번 쓰고 끝낼 기능이 아니라는 게 분명합니다.

지금 가장 잘 쓰는 방법은 기대를 낮추고 시작하는 겁니다. 빠르고 완벽한 AI 비서를 기대하면 실망합니다. 대신, 내가 매일 반복적으로 하는 단순 작업 하나를 골라서 맡겨보는 것부터 시작하면 됩니다. 그게 Downloads 폴더 정리든, 파일 변환이든요. 그 경험이 쌓이면 어떤 태스크를 맡길 수 있는지 감이 옵니다.

macOS 전용이라는 제약과 느린 스크린샷 루프는 분명한 한계입니다. 하지만 한 달 후, 세 달 후 이 기능이 어디까지 올라올지는 Vercept 기술이 얼마나 빨리 통합되느냐에 달려 있습니다. 지금 써보는 게 그 변화를 가장 일찍 체감하는 방법입니다.

1. Anthropic 공식 블로그 — Put Claude to work on your computer (2026.03.23)
2. Claude 공식 헬프센터 — Let Claude use your computer in Cowork (2026.03.23)
3. Anthropic 공식 뉴스 — Anthropic acquires Vercept (2026.02.25)
4. PCWorld — Claude controlled my Mac for half an hour (2026.03.24)
5. Lifehacker — Claude Computer Use Impressions (2026.03.24)
6. Shareuhack — Claude Computer Use macOS Guide (2026.03.23)
7. NowadAIs — Anthropic Claude Computer Use Mac Limitations (2026.03.25)