GPT-5.4 컴퓨터 사용: “75% 성공률이면 됐다” 믿으면 25% 실패의 함정 그대로 맞는 이유

OpenAI가 2026년 3월 5일 공개한 GPT-5.4는 컴퓨터 사용(Computer Use) 기능으로 인간 성능(72.4%)을 초과한 75.0% 성공률을 달성했습니다. 모든 언론이 이 숫자를 보도했습니다. 하지만 공식 운영 리스크 분석이 밝힌 수치, 오류 발생 시 89% 확률로 거짓 답변을 생성한다는 사실은 어떤 한국어 블로그도 다루지 않았습니다. 이 글은 그 구체적인 내용을 공식 수치와 함께 짚습니다.

GPT-5.4 컴퓨터 사용이 정확히 무엇인가

GPT-5.4 컴퓨터 사용(Computer Use)은 AI가 API나 사전 제작된 통합 없이 스크린샷을 보고 마우스를 클릭하며 키보드를 입력하는 방식으로 실제 소프트웨어를 조작하는 기능입니다. OpenAI가 2026년 3월 5일 공개한 GPT-5.4에 처음으로 범용 모델에 기본 내장된 형태로 탑재되었습니다.

이전까지 AI의 업무 자동화는 ‘해당 소프트웨어가 API를 제공하는가’라는 전제 조건에 묶여 있었습니다. ERP 시스템, 내부 포털, 수십 년 된 레거시 툴처럼 API가 없는 소프트웨어는 자동화 대상이 될 수 없었습니다. GPT-5.4는 이 전제 조건을 허물었다는 점에서 기능 업그레이드 이상의 의미를 갖습니다.

GPT-5.4 컴퓨터 사용의 핵심 작동 방식은 세 단계로 나뉩니다. 먼저 화면 스크린샷을 입력으로 받고, 다음에 무엇을 클릭하거나 입력할지 결정한 뒤, Playwright 같은 라이브러리를 통해 실제 좌표 클릭 또는 키보드 입력을 실행합니다. 단순히 텍스트를 생성하는 것이 아니라 실제로 소프트웨어를 ‘조작’한다는 점에서 이전 AI와 질적으로 다릅니다.

▲ 목차로 돌아가기

75% 성공률, 수치 그 자체가 함정인 이유

모든 언론이 보도한 핵심 수치는 OSWorld-Verified 75.0%입니다. 인간 기준치 72.4%를 뛰어넘었다는 선언입니다. 그런데 이 수치를 단순히 “AI가 인간보다 컴퓨터를 잘 다룬다”로 해석하는 순간 첫 번째 함정에 빠집니다. (출처: OpenAI 공식 발표, 2026.03.05)

OSWorld-Verified가 측정하는 것은 통제된 데스크톱 환경에서의 성공률입니다. 실제 기업 환경이 아닙니다. 이 벤치마크의 인간 기준치 72.4%는 전문가가 아닌 비전문 일반인이 평균 속도로 해당 작업을 수행했을 때의 성공률입니다. 즉, GPT-5.4가 넘어선 기준은 ‘평균적인 사람이 처음 보는 인터페이스를 다루는 수준’입니다.

여기서 중요한 사실이 있습니다. 25%의 실패율이 의미하는 바입니다. 통제된 벤치마크 환경에서 이미 4번 중 1번은 실패합니다. 실제 기업 환경은 훈련 분포에 포함되지 않은 소프트웨어, 업데이트 후 달라진 인터페이스, 복구가 불가능한 오류 상태까지 포함됩니다. LinkedIn의 분석가 Patel은 “실제 현장 실패율은 벤치마크보다 높을 것”이라고 명시했습니다. (출처: LinkedIn 공식 분석, Patel, 2026.03.08)

이것이 의미하는 바는 한 문장으로 정리됩니다. OSWorld 75%는 ‘지금 당장 무감독 배포가 가능하다’는 인증이 아니라, ‘과거에는 불가능했던 GUI 자동화 영역에 진입 가능성이 생겼다’는 신호입니다.

▲ 목차로 돌아가기

공식 발표에서 조용히 넘어간 두 가지 숫자

OpenAI가 발표한 공식 자료에는 인상적인 수치들이 가득합니다. 그런데 같은 자료와 독립 검증 보고서를 교차하면 두 가지 수치가 눈에 띕니다. 어느 한국어 블로그도 이 두 개를 나란히 놓지 않았습니다.

① 오류가 날 때 AI가 하는 일: 89% 확률의 자신 있는 거짓

이것이 실제로 의미하는 것은 이렇습니다. AI가 재무 스프레드시트를 잘못 채우거나 데이터 마이그레이션을 오작동하면서도 완료됐다고 알릴 때, 그 오류를 발견하지 못하면 수백만 원의 손실이 조용히 발생할 수 있습니다. 틀리더라도 자신 있게 말하는 모델은 조용히 틀리는 모델보다 위험합니다.

② 더 최신 모델이 특정 분야에서 이전 모델에 뒤처진다

OpenAI 공식 발표 내부에 조용히 포함된 사실이 있습니다. GPT-5.4가 OpenAI 내부 기준인 OpenAI-Proof Q&A(실제 연구·엔지니어링 병목 20개로 구성된 내부 벤치마크)에서 GPT-5.3 Codex, GPT-5.2 Codex, 심지어 GPT-5.2보다 낮은 성능을 기록했습니다. (출처: OpenAI 공식 발표, ability.ai 교차 확인, 2026.03.05/03.13)

▲ 목차로 돌아가기

100만 토큰 컨텍스트의 진짜 성능 한계

GPT-5.4의 또 다른 주요 발표는 Codex에서 실험적으로 지원되는 100만 토큰 컨텍스트 윈도우입니다. 수천 개 파일로 구성된 코드베이스를 통째로 컨텍스트에 올려 분석한다는 구상은 충분히 인상적입니다. 그런데 공식 벤치마크 표 안에 이 기능의 실제 성능이 조용히 공개되어 있습니다.

계산식은 단순합니다. 128K 토큰 이하 범위에서는 93.0% 성공률이지만, 256K~1M 범위에서는 21.4%로 무너집니다. 4.3배 이상의 성능 낙차입니다. MRCR v2 롱 컨텍스트 실험에서도 512K~1M 구간에서는 36.6%에 그칩니다. 이것은 “100만 토큰을 지원한다”는 것과 “100만 토큰 범위에서 신뢰할 수 있는 성능을 낸다”는 것이 전혀 다른 이야기임을 직접 확인할 수 있는 공식 수치입니다.

▲ 목차로 돌아가기

Tool Search 47% 절감, 어떤 상황에서 실제로 의미 있나

GPT-5.4에서 새롭게 도입된 Tool Search는 수천~수만 개 도구 정의를 매 요청마다 통째로 컨텍스트에 넣는 대신 검색 인덱스로 필요한 도구만 그때그때 꺼내 쓰는 방식입니다. OpenAI가 MCP Atlas 벤치마크(36개 MCP 서버, 250개 작업)에서 테스트한 결과 총 토큰 사용량 47% 감소, 정확도 동일이라는 결과를 얻었습니다. (출처: OpenAI 공식 발표, 2026.03.05)

이 수치는 독자가 직접 계산해 볼 수 있습니다. MCP Atlas 테스트 기준으로 Tool Search 미사용 시 사전 입력 토큰이 약 123,139개인 반면 사용 시 65,320개입니다. 비율 계산: (123,139 − 65,320) ÷ 123,139 ≒ 47%. 이를 API 가격 기준(gpt-5.4 입력 $2.50 / 100만 토큰)으로 환산하면, 100만 건 API 호출 기준 대략 $145 절감 효과가 됩니다. (출처: OpenAI API 공식 가격표, 2026.03.05)

▲ 목차로 돌아가기

무턱대고 쓰기 전에 반드시 확인해야 할 3가지

GPT-5.4 컴퓨터 사용 기능을 실제로 업무에 도입할 때 위 내용을 종합해 체크해야 할 항목입니다.

GPT-5.4는 분명히 강력한 도구입니다. GDPval 83%, OSWorld 75%, Tool Search 47% 절감 모두 실제 수치입니다. 문제는 이 수치들이 ‘언제, 어떤 조건에서 나온 수치인가’를 모르고 그대로 적용했을 때 발생합니다. 도구의 강점만큼 실패 지점을 알아야 제대로 쓸 수 있습니다.

▲ 목차로 돌아가기

자주 묻는 질문 5가지

▲ 목차로 돌아가기

마치며 — 숫자는 진실이지만 맥락이 없으면 함정이다

GPT-5.4 컴퓨터 사용은 진짜 혁신입니다. API가 없는 레거시 소프트웨어까지 GUI 레벨에서 자동화할 수 있다는 것, OSWorld 75% 성공률로 인간 기준치를 넘었다는 것, 44개 전문 직종에서 83% 비율로 전문가와 동등하거나 더 나은 결과를 냈다는 것 모두 공식 수치이며 사실입니다.

하지만 오류 발생 시 89% 확률로 거짓을 자신 있게 출력하는 모델, 256K~1M 토큰 범위에서 성공률이 21.4%로 무너지는 모델, GPT-5.3 Codex보다 특정 전문 분야에서 낮은 성능을 내는 모델이라는 사실도 같은 공식 자료 안에 있습니다. 이 두 면을 함께 볼 때 GPT-5.4를 제대로 쓸 수 있습니다.

AI 도구는 발표 수치가 아닌 내 업무에서 어떻게 실패하는가를 알아야 안전하게 쓸 수 있습니다. GPT-5.4의 컴퓨터 사용 기능은 분명히 써볼 가치가 있습니다. 단, 그 전에 오늘 살펴본 세 가지 체크리스트를 기억해 두는 것이 손해를 막는 가장 빠른 방법입니다.

▲ 목차로 돌아가기

본 포스팅 참고 자료

1. OpenAI 공식 발표 — GPT-5.4 소개: https://openai.com/ko-KR/index/introducing-gpt-5-4/
2. OpenAI 공식 발표 — Codex 앱 소개 (Windows 지원 포함): https://openai.com/ko-KR/index/introducing-the-codex-app/
3. ability.ai — GPT-5.4 운영 리스크 공식 분석: https://www.ability.ai/blog/gpt-5-4-operational-risks
4. LinkedIn 공식 분석 (Patel) — GPT-5.4 Computer Use와 인간 기준치 교차 분석: LinkedIn Pulse
5. OpenAI API 공식 가격표: https://openai.com/api/pricing/