GPT-5.4 Computer Use:
인간을 추월한 AI 컴퓨터 사용의 진실
2026년 3월 5일, OpenAI가 공개한 GPT-5.4는 처음으로 마우스와 키보드를 직접 조작하는
네이티브 Computer Use를 메인라인 모델에 탑재했습니다.
OSWorld 벤치마크에서 인간 기준선 72.4%를 넘어 75.0%를 달성한
이 기능이 실무에서 무엇을 의미하는지, 지금부터 낱낱이 파헤칩니다.
🖥 OSWorld 75.0% — 인간 초과
🔑 업계 최초 메인라인 Computer Use
🧠 100만 토큰 컨텍스트
⚡ Tool Search 토큰 47% 절감
GPT-5.4 Computer Use란 무엇인가 — 핵심부터 짚는다
GPT-5.4 Computer Use는 AI가 스크린샷을 인식하고, 마우스 클릭과 키보드 입력을
직접 수행하는 기능입니다. 이전까지 Computer Use 기능은 Anthropic의 Claude에만 탑재되어 있었고,
OpenAI 진영에서는 별도 제품인 ‘오퍼레이터(Operator)’나 외부 스캐폴딩 도구를 통해서만
유사한 작업이 가능했습니다. GPT-5.4는 이 기능을 별도 플러그인 없이 메인라인 모델에
통합시킨 첫 사례라는 점에서 업계의 주목을 받고 있습니다.
쉽게 말하면, 지금까지의 ChatGPT가 “무엇을 해야 하는지 텍스트로 알려주는 비서”였다면,
예를 들어 “회계 소프트웨어 Quicken을 열어서 이번 달 지출 항목을 정리해줘”라고 말하면,
AI가 앱을 실행하고, UI를 탐색하고, 데이터를 직접 입력합니다. 이 과정에서 인간의
추가 개입은 필요하지 않습니다.
대상이 된다”는 점입니다. 레거시 ERP, 브라우저 기반 백오피스처럼 API 연동이 불가능했던
시스템들이 이제 자연어 명령만으로 제어될 수 있습니다. 이는 수십 년 된 엔터프라이즈
소프트웨어 생태계 전체를 흔드는 변화입니다.
OSWorld 75% — 인간 초과, 숫자의 진짜 의미
75.0%를 기록했습니다. 이전 모델 GPT-5.2가 47.3%에 그쳤고,
인간 기준선이 72.4%인 점을 감안하면 GPT-5.4가 평균적인 인간보다 컴퓨터를
더 잘 조작한다는 결론이 나옵니다. OpenAI 메인라인 모델 중 이 기준을 최초로
넘어선 것이기도 합니다.
| 벤치마크 | GPT-5.2 | GPT-5.4 Thinking | 인간 기준선 |
|---|---|---|---|
| OSWorld-Verified (데스크톱 조작) | 47.3% | 75.0% ✓ | 72.4% |
| WebArena-Verified (웹 브라우저 조작) | 65.4% | 67.3% | — |
| Online-Mind2Web (실시간 웹 태스크) | 84.0% | 92.8% | — |
| GDPval (44개 직종 지식 업무) | 70.9% | 83.0% | — |
| SWE-Bench Pro (소프트웨어 엔지니어링) | 55.6% | 57.7% | — |
그러나 이 숫자를 무조건적으로 받아들이는 것은 주의가 필요합니다. 벤치마크는
특정 방식으로 설계된 테스트 환경에서 측정된 수치입니다. 실제 기업 업무 환경은
훨씬 더 복잡하고 예측 불가능한 변수가 많습니다.
75% 성공률이라는 말은 역으로 25%는 실패한다는 의미이기도 합니다.
중요한 업무에 Computer Use를 투입하기 전에 반드시 검증 단계와 인간 감수 절차를
함께 설계해야 합니다.
이 속도대로라면 6~12개월 내 90%대 진입도 불가능한 시나리오가 아닙니다.
지금 Computer Use를 파일럿으로라도 시작해야 하는 이유가 여기 있습니다.
Stateless에서 Stateful로 — 지속 환경이 바꾸는 것들
Persistent(지속적) 환경입니다. 기존 모델들은 컴퓨터 조작 작업을
할 때마다 새로운 환경을 처음부터 구성(Stateless)해야 했습니다. 작업마다 운영체제
상태, 앱 설정, 이전 작업 결과를 모두 다시 설명해야 하는 비효율이 있었습니다.
그대로 유지(Stateful)되며, AI는 이전 단계를 기억한 채 자연스럽게
다음 작업으로 이어집니다. OpenAI는 이 구조 덕분에
토큰 사용량을 기존 대비 최대 2/3까지 절감할 수 있다고 밝혔습니다.
매번 환경을 재설명할 필요가 없어지기 때문입니다.
build-run-verify-fix 루프란 무엇인가
AI가 코드를 작성하고(build), 직접 실행하고(run), 결과를 스크린샷으로 확인하고(verify),
문제가 있으면 스스로 수정하는(fix) 완전한 자율 사이클입니다. 이 네 단계가 인간의
개입 없이 반복되면서 최종 완성물을 만들어냅니다. Codex에서 Playwright 브라우저
자동화 도구까지 통합 지원되어, 코드 실행 결과가 화면에 어떻게 보이는지까지
AI가 직접 판단할 수 있습니다.
입력하고, 그래프를 만들고, 이메일로 보내줘”라는 세 단계 작업이 하나의 연속적 흐름으로
처리됩니다. 이전 모델이었다면 각 단계마다 새로운 명령을 내려야 했지만, GPT-5.4는
앞 단계 결과물을 기억한 채 다음 단계로 자동 이행합니다. 이것이 진정한 의미의
“AI 동료” 개념입니다.
나머지 핵심 기능 3가지 — Tool Search·1M 토큰·스티어빌리티
1Tool Search — 토큰 47% 절감의 현실
에이전트 워크플로우에서 가장 현실적인 비용 절감을 가져오는 기능이
Tool Search입니다. 기존 방식은 에이전트가 실행될 때마다 사용 가능한
모든 도구 정의를 한꺼번에 로드했습니다. 수십~수백 개의 MCP 도구를 운영하는 경우
그 자체만으로도 엄청난 토큰이 소모되었습니다. Tool Search는 필요한 도구를
“그때그때 검색해서 로드”하는 방식으로 이 문제를 해결합니다.
OpenAI가 MCP Atlas 벤치마크 250개 태스크로 측정한 결과,
동일 정확도를 유지하면서 토큰 사용량이 47% 줄었습니다.
API 단가는 GPT-5.2 대비 다소 올랐지만, Tool Search 효과를 감안하면
실제 청구 비용 증가폭은 예상보다 크지 않을 수 있습니다.
2100만 토큰 컨텍스트 — 기본값이 아니라는 점 주의
수천 페이지의 법률 문서, 전체 코드베이스, 수개월치 프로젝트 기록을
단일 요청으로 처리할 수 있는 규모입니다. 그러나 중요한 주의사항이 있습니다.
API 기본값은 272K 토큰이며, 1M 컨텍스트는 별도 파라미터 설정이 필요한
옵트인(opt-in) 기능입니다. 또한 272K 초과 구간부터는
정상 요금의 2배 과금이 적용됩니다. 비용 관리가 필요한 분들은
이 임계점을 반드시 체크해야 합니다.
3스티어빌리티 — 생각 중간에 방향을 바꾼다
스티어빌리티(Steerability)는 AI가 답변을 생성하는 도중에
사용자가 실시간으로 방향을 수정할 수 있는 기능입니다. 긴 코딩 작업이
잘못된 방향으로 흘러가고 있을 때, 전체 결과를 기다렸다가 다시 프롬프트를 쓰는
대신 “A 방식이 아니라 B 방식으로 바꿔줘”라고 중간에 개입할 수 있습니다.
특히 수 분씩 걸리는 복잡한 에이전트 작업에서 시행착오를 대폭 줄여주는 기능입니다.
Thinking 5.4 vs Pro 5.4 — 어떤 티어를 써야 하는가
Instant 5.3(빠른 일상 대화, 무료 플랜 포함),
Thinking 5.4(Plus·Team·Pro 이상),
Pro 5.4(Pro·Enterprise 전용, 월 200달러)입니다.
두 상위 티어는 동일한 GPT-5.4 엔진을 사용하지만, 추론에 투입하는 컴퓨팅
자원의 양이 다릅니다.
| 항목 | Thinking 5.4 | Pro 5.4 |
|---|---|---|
| 추론 깊이 | high (타임아웃 가능) | xhigh (예산 무제한) |
| GDPval (지식 업무) | 83.0% ✓ | 82.0% |
| BrowseComp (웹 리서치) | 82.7% | 89.3% ✓ |
| ARC-AGI-2 (추상 추론) | 73.3% | 83.3% ✓ |
| 이미지 생성·메모리 | 가능 | 비활성 |
| API 출력 비용 (per 1M) | $15 | $180 (12배) |
흥미로운 사실은 일상적인 지식 업무(GDPval)에서 Thinking이 Pro보다 오히려 우세하다는
점입니다. Pro 5.4가 압도적으로 유리한 영역은 심층 웹 리서치와 추상 추론처럼
극한의 연산이 필요한 경우로 한정됩니다. 비용이 12배 비싼 만큼,
Pro를 모든 작업에 쓰는 것은 비효율적입니다. 커뮤니티에서 권장하는
하이브리드 전략은 복잡한 태스크 분해에만 Pro를 쓰고,
하위 작업들은 Thinking이나 기본 GPT-5.4에 위임하는 방식입니다.
Thinking 5.4(Plus 플랜, 월 $20)가 최적의 선택입니다.
Pro 5.4는 법률·금융·의료처럼 오류 비용이 극히 높고, 실패 한 번의 손실이
수백만 원 이상인 전문 영역에서만 투자 대비 가치가 나옵니다.
실무 활용 시나리오 4가지 — 오늘 당장 쓸 수 있는 것들
📌 시나리오 1. 회계·행정 반복 업무 자동화
가장 즉각적인 효과를 볼 수 있는 영역입니다. 매달 반복되는 영수증 취합,
지출 항목 입력, 결재 문서 생성 같은 작업들은 Computer Use의
전형적인 사용 사례입니다. “이번 달 카드 청구서 PDF를 열어서 항목별로
구글 시트에 정리하고, 합계가 예산을 초과한 항목을 빨간색으로 표시해줘”라는
명령 하나로 처리될 수 있습니다.
📌 시나리오 2. API 없는 레거시 시스템 자동화
기업 내 오래된 ERP나 백오피스 시스템에 API 연동이 없어 자동화를 포기했던
경우에 Computer Use는 게임 체인저가 됩니다. 브라우저 화면을 직접 보면서
필요한 버튼을 클릭하고 데이터를 입력하는 방식으로, API 없이도
사실상 모든 웹 기반 시스템을 자동화 대상으로 만들 수 있습니다.
단, 민감한 시스템에 접근 권한을 부여할 때는 보안 정책을 반드시 먼저 수립해야 합니다.
📌 시나리오 3. 복합 리서치 + 문서 자동 생성
웹에서 여러 출처를 탐색하고(BrowseComp 82.7%), 수집된 내용을
1M 토큰 컨텍스트 안에서 통합 분석하고, 결과를 문서나 슬라이드로 출력하는
일련의 흐름이 단일 에이전트 세션으로 처리됩니다. 투자 리포트, 시장 조사,
경쟁사 분석처럼 수 시간이 걸리던 작업이 자동화됩니다.
📌 시나리오 4. 코드베이스 전체를 이해하는 개발 에이전트
수만 줄짜리 레포지토리 전체를 1M 컨텍스트에 로드하고,
build-run-verify-fix 루프로 신규 기능 추가부터 버그 수정,
관련 테스트 코드 생성까지 수행합니다.
SWE-Bench Pro에서 57.7%를 기록했다는 것은,
실제 오픈소스 프로젝트 이슈를 AI가 절반 이상 해결할 수 있다는 뜻입니다.
주니어 개발자의 루틴 작업량을 의미 있게 줄일 수 있는 수준입니다.
비용 현실과 보안 주의사항 — 놓치면 위험한 부분
💰 월간 비용 시뮬레이션
하루 50건의 에이전트 태스크(입력 8K 토큰 + 출력 1.5K 토큰 기준)를 기준으로
30일 운영 시 비용을 추산하면, Thinking 5.4 단독 사용 시 약 월 $63,
Pro 5.4 단독 사용 시 약 월 $765입니다.
Pro 10% + Thinking 90%의 하이브리드 전략을 적용하면 약 월 $134로
Pro 단독 대비 80% 비용 절감이 가능합니다.
여기에 Tool Search의 토큰 47% 절감 효과까지 더하면 실제 비용은 더 낮아집니다.
이 수치는 추정값이므로 실제 워크플로우로 별도 측정을 권장합니다.
🔒 보안과 거버넌스 — 반드시 먼저 설계해야 하는 것
Computer Use의 가장 큰 리스크는 AI에게 컴퓨터 접근 권한을 부여하는 순간
민감한 데이터에 대한 접근도 함께 허용될 수 있다는 점입니다.
잘못 설계된 에이전트가 의도하지 않은 파일을 수정하거나,
이메일을 잘못 발송하거나, 민감 정보를 외부로 유출하는 사고가
이미 해외 커뮤니티에서 보고되고 있습니다.
최소한 아래 세 가지 원칙은 지켜야 합니다.
첫째, 최소 권한 원칙: AI 에이전트가 접근해야 하는 시스템과
파일 범위를 최대한 좁게 설정합니다.
둘째, 작업 로그 의무화: 모든 Computer Use 세션의 스크린샷과
조작 이력을 저장하고 주기적으로 감사합니다.
셋째, 고위험 작업 인간 승인 단계 삽입: 결제, 전송, 삭제처럼
되돌릴 수 없는 작업에는 반드시 인간 확인 단계를 추가합니다.
공식 안전 가이드라인을 통해 Computer Use 에이전트 설계 시
“프롬프트 인젝션(Prompt Injection) 공격”에 대한 방어 설계를
필수 요소로 명시하고 있습니다. 외부 웹사이트 내용이 AI의 명령을
가로채는 공격 방식에 대한 이해가 필요합니다.
Q&A — 독자가 가장 많이 묻는 5가지
GPT-5.4 Computer Use는 무료 플랜에서도 쓸 수 있나요?
포함되지 않습니다. 한국에서는 chatgpt.com을 통해 플러스 플랜에 가입하면
바로 이용 가능합니다.
Claude의 Computer Use와 GPT-5.4의 차이점은 무엇인가요?
별도 API 기능으로 제공하는 반면, GPT-5.4는 메인라인 채팅 모델 자체에
통합했습니다. 즉, ChatGPT 채팅창에서 자연어로 대화하면서 Computer Use가
자동으로 발동됩니다. 벤치마크상 OSWorld에서는 GPT-5.4(75.0%)가 Claude
계열보다 우세한 수치를 보이지만, 실제 사용감은 워크플로우에 따라 다를 수 있습니다.
Computer Use를 한국어로도 정상적으로 명령할 수 있나요?
“엑셀 파일을 열어서 3분기 매출 합계를 계산하고 빈 셀에 입력해줘”처럼
자연스러운 한국어로 작업을 지시할 수 있습니다.
다만 Computer Use가 조작하는 소프트웨어 자체가 영어 UI라면,
AI가 영어 인터페이스를 인식하고 처리합니다. 한국어 UI 소프트웨어도
현재는 대부분 정상 인식됩니다.
1M 토큰 컨텍스트를 사용하면 비용이 어떻게 달라지나요?
272K를 초과하는 구간부터는 2배 과금($5.00/1M 수준)이 적용됩니다.
따라서 1M 토큰 풀을 전부 소진하는 요청 한 번의 비용은 상당히 높아질 수 있습니다.
코드베이스 전체 분석처럼 꼭 필요한 작업에만 1M을 사용하고,
일반 작업은 272K 이하로 관리하는 전략이 현실적입니다.
GPT-5.4 Pro는 API에서 Chat Completions로 쓸 수 없다는데 사실인가요?
gpt-5.4-pro는 Responses API 전용이며,기존
/v1/chat/completions 엔드포인트에서는사용 불가합니다.
기존 Chat Completions 코드를 Responses API(
/v1/responses)로마이그레이션한 후 사용해야 합니다. 반면
gpt-5.4(Thinking)는두 API를 모두 지원합니다. 기존 서비스에 통합 시 반드시 이 차이를 먼저 확인하세요.
마치며 — “AI 동료” 시대가 조용히 시작됐다
AI와 컴퓨터의 관계, 그리고 인간과 AI의 협업 방식이 근본적으로 바뀌는
분기점입니다. OSWorld 벤치마크에서 인간 평균을 처음 넘어섰다는 사실은
기술적 이정표 그 이상의 의미를 가집니다. 이제 “AI에게 시키는 것”과
“인간이 직접 하는 것”의 경계가 실질적으로 허물어지기 시작했습니다.
물론 아직 갈 길이 남아 있습니다. 25%의 실패율, 272K 초과 구간의 비용 급등,
보안 리스크는 여전히 현실적인 장벽입니다. 그러나 지금 이 기능을 파일럿으로
시험해보지 않는다면, 이미 시작한 조직과의 격차가 예상보다 빠르게 벌어질 수 있습니다.
복잡한 인프라 없이도 단순한 반복 업무 하나부터 시작하면 충분합니다.
필자가 가장 인상 깊게 본 것은 GPT-5.2 대비 47%→75%라는
성능 상승 속도입니다. 지금의 한계들은 6~12개월 내 상당 부분 극복될 가능성이
높습니다. 지금이 조용히 준비를 시작하기에 가장 좋은 시점입니다.
※ 본 포스팅은 OpenAI 공식 발표(2026.03.05), 공식 API 문서, 주요 기술 매체 교차 검증 자료를
기반으로 작성되었습니다. 벤치마크 수치 및 요금 정보는 변경될 수 있으므로,
실제 도입 시 반드시 OpenAI 공식 사이트의
최신 정보를 확인하시기 바랍니다. 본 콘텐츠는 특정 서비스 구매를 권유하지 않으며,
정보 제공만을 목적으로 합니다.
댓글 남기기