Gemini 2.5 Computer Use 기준
Gemini 화면 자동화, 무료라도 이 숫자 먼저 보세요
“우버이츠에서 치킨 샌드위치 시켜줘”라고 말하면 AI가 알아서 앱을 열고 장바구니까지 담아줍니다. 갤럭시 S26에 드디어 정식 출시된 Gemini 화면 자동화 이야기입니다. 근데 막상 쓰려고 보면 생각보다 조건이 좁습니다.
Gemini 화면 자동화란 정확히 무엇인가
2026년 3월 16일, 삼성 갤럭시 S26 시리즈에서 Gemini 화면 자동화(Screen Automation)가 정식 가동됐습니다. 구글이 2026년 2월 25일 공식 블로그를 통해 처음 발표한 뒤, 갤럭시 S26 출시와 함께 한국과 미국 사용자에게 순차적으로 풀리기 시작했습니다. (출처: Google Official Blog, 2026.02.25)
핵심 기능은 한 줄로 설명됩니다. 자연어 명령 하나로 AI가 스마트폰 앱을 직접 조작해 멀티스텝 작업을 완료해줍니다. “도어대시에서 피자 시켜줘”라고 말하면 Gemini가 앱을 열고, 매장을 찾고, 메뉴를 고르고, 장바구니에 담는 과정을 순서대로 처리합니다. 결제 직전 단계에서는 사용자에게 알림을 보내 직접 최종 확인을 받습니다.
지금까지 AI 비서가 “타이머 맞춰줘” 수준에 머물렀다면, 이번 기능은 앱 내부를 넘나드는 실질적인 작업 대행입니다. 물론 아직 지원 앱이 6개에 불과하고 베타 단계라는 점은 분명히 짚고 넘어가야 합니다.
작동 원리 — 기기 안이 아니라 클라우드가 판단합니다
구글은 “기기 내 가상 창(virtual window) 안에서 앱을 실행한다”고 설명합니다. 사용자의 다른 앱이나 데이터에는 접근하지 않는 격리된 공간(샌드박스)이라는 점을 강조합니다. 이 설명만 보면 개인정보가 완전히 기기 안에서 처리되는 것처럼 보입니다.
💡 공식 발표문과 실제 기술 구조를 같이 놓고 보니 이런 차이가 보였습니다.
9to5Google이 직접 확인한 결과, 화면에서 어디를 탭하고 스크롤할지는 클라우드 서버가 판단해서 기기에 명령을 내리는 방식입니다. 공식 문서에는 “cloud processing is responsible for telling the device where to scroll, tap, and type”라고 명시되어 있습니다. (출처: 9to5Google, 2026.03.13) 즉, AI가 기기 안에서 독립적으로 작동하는 게 아닙니다.
가상 창 안에서 앱이 실행되는 건 맞지만, 그 화면을 분석하고 다음 동작을 결정하는 두뇌는 클라우드에 있습니다. 쉽게 말해 화면 캡처가 실시간으로 서버에 전달되고, 서버가 “지금 여기를 탭해”라고 다시 지시하는 구조입니다. 기기가 오프라인이거나 인터넷 연결이 불안정하면 작동이 멈춥니다.
기술적으로는 Gemini 2.5 Computer Use 모델이 이 역할을 담당합니다. (출처: Google Official Blog, 2026.02.25) 클라우드 의존 구조이기 때문에 요금제별 하루 사용 횟수 한도가 생기는 이유도 여기에 있습니다. 처리 비용이 서버 자원을 직접 소비하기 때문입니다.
요금제별 하루 한도 — 무료와 Ultra의 24배 차이
무료로도 쓸 수 있다는 건 맞습니다. 근데 하루에 딱 5번입니다. 여기서 한 가지 짚어야 할 게 있습니다. 이 횟수는 “자동화 작업 1회 완료” 기준이지, 탭 동작 하나 기준이 아닙니다. 배달 앱에서 메뉴를 담는 전 과정이 1회로 카운트됩니다.
| 요금제 | 월 요금 | 하루 사용 횟수 | 무료 대비 |
|---|---|---|---|
| 무료 | $0 | 5회 | 기준 |
| AI Plus | $7.99 | 12회 | +2.4배 |
| AI Pro | $19.99 | 20회 | +4배 |
| AI Ultra | $249.99 | 120회 | +24배 |
(출처: Google Gemini 고객센터 공식 지원 문서, 2026.03 / 9to5Google, 2026.03.13)
💡 무료 5회와 Ultra 120회, 24배 차이가 말해주는 것이 있습니다.
하루 5회 정도면 배달 주문 2번, 차량 호출 1번, 커피 주문 2번 정도가 이론상 한도입니다. 일상적인 사용을 하루에 5번 넘기는 건 생각보다 쉽습니다. AI Pro($19.99)와 무료의 하루 횟수 차이는 고작 15회인데, Ultra는 혼자서 125달러를 더 내야 120회를 씁니다. 구조적으로 Ultra 구독자를 위한 기능에 가깝습니다.
별도로 확인할 게 있습니다. Gemini Screen Automation과 Gemini Agent는 다른 기능입니다. Gemini Agent(AI Ultra 전용, 하루 200회)는 클라우드에서 실제 웹 브라우저 인스턴스를 띄워 더 복잡한 작업을 처리하는 방식입니다. (출처: 9to5Google, 2026.03.13) 화면 자동화와 달리 모바일 전용이 아닙니다.
지금 당장 쓸 수 있는 앱 목록과 실제 명령 예시
2026년 3월 출시 시점 기준으로 Gemini 화면 자동화가 지원하는 앱은 정확히 6개입니다. 구글 공식 고객센터와 9to5Google 취재 결과가 일치합니다. (출처: Google Gemini 고객센터, 2026.03 / 9to5Google, 2026.03.13)
실제로 이렇게 시킬 수 있습니다
차량 호출: “공항까지 우버 불러줘” / “내일 오전 9시 픽업 예약해줘”
음식 주문: “도어대시에서 지난번에 시킨 거 다시 주문해줘” / “우버이츠에서 피자 시켜줘”
커피 주문: “스타벅스에서 아이스 아메리카노 주문해줘”
눈에 띄는 건 “지난번에 시킨 거 다시 주문해줘” 같은 컨텍스트 기반 명령입니다. 앱의 주문 내역을 참조해 재주문하는 게 가능합니다. 현재 한국에서는 Uber, Uber Eats, Starbucks 중 실제 서비스 지역에 따라 사용 가능 여부가 달라질 수 있으며, 미국 서비스 앱(DoorDash, Grubhub, Lyft)은 국내에서 실질적 사용이 어렵습니다. 이 부분은 아직 공식적으로 별도 안내가 없습니다.
실측 테스트에서 드러난 것들
9to5Google이 갤럭시 S26 Ultra에서 직접 Gemini 화면 자동화를 테스트한 결과, 예상과 다른 부분이 두 가지 있었습니다.
① 직접 카트에 담는 것보다 빠르지 않습니다
9to5Google이 “Not really faster than doing it yourself”라고 직접 확인했습니다. (출처: 9to5Google, 2026.03.12) 속도보다 핵심 가치는 따로 있습니다. AI가 카트를 담는 동안 사용자는 다른 앱을 쓰거나 다른 일을 할 수 있습니다. 직접 하는 것보다 빠르진 않지만, 내 손이 자유로워집니다.
② 실제로 폰을 재부팅해야 했던 버그가 있습니다
테스트 1회에서 자동화 화면이 풀스크린 상태로 멈춰버려 강제 재부팅을 해야 하는 상황이 발생했습니다. (출처: 9to5Google, 2026.03.12) 아직 베타 단계라는 점을 구글도 공식적으로 밝히고 있습니다.
또한 AI가 결제 직전까지만 처리하고 사용자에게 넘긴다는 안전장치는 잘 작동했습니다. 우버이츠에서 사이드 메뉴 추가 화면을 자동으로 건너뛰고 팁 선택·결제 단계로 직접 이동하는 점도 확인됐습니다. 실제 사용 흐름 기준으로 장바구니를 담는 귀찮음은 없애지만, 장바구니 내용을 꼼꼼히 확인한 뒤에 결제 버튼을 눌러야 합니다. AI가 원치 않는 메뉴를 추가하거나 수량을 잘못 잡는 경우가 보고되고 있습니다.
보안 관련해서도 참고할 만한 정보가 있습니다. 2026년 3월 2일, Chrome의 Gemini Live에서 고위험도 취약점(CVE-2026-0628)이 발견돼 빠르게 패치됐습니다. 화면 자동화와 직접 연관된 취약점은 아니지만, Gemini가 기기 화면 데이터를 처리하는 시스템 전반에 대한 보안 논의가 활발해지는 시점입니다. (출처: Palo Alto Networks Unit42, 2026.03.02)
AppFunctions — 앱 생태계가 바뀌는 이유
지금 지원 앱이 6개뿐이라고 실망할 필요는 없습니다. 구글이 Android 16과 함께 공개한 AppFunctions 때문입니다. AppFunctions는 앱 개발자가 자기 앱의 특정 기능을 AI 에이전트에게 “열어주는” 표준 인터페이스입니다. (출처: Android Developers 공식 문서, 2026.03.09)
💡 공식 문서에서 AppFunctions를 “모바일판 MCP(Model Context Protocol)”라고 직접 표현하고 있습니다. 서버 사이드 도구를 AI와 연결하는 MCP가 PC·클라우드 환경의 표준이라면, AppFunctions는 안드로이드 앱 환경에서 같은 역할을 합니다. 앱 생태계가 AI 에이전트용 도구 플랫폼으로 전환 중입니다.
개발자 입장에서 보면, Jetpack 라이브러리에서 함수에 @AppFunction 어노테이션만 달면 Gemini 같은 AI 에이전트가 해당 기능을 발견하고 실행할 수 있게 됩니다. “노트 만들어줘”, “플레이리스트 추가해줘”, “이메일 내용 찾아서 장보기 목록에 넣어줘” 같은 크로스앱 워크플로우가 기술적으로 가능해집니다. (출처: Android Developers 공식 문서, 2026.03.09)
AppFunctions는 Android 16 이상에서만 작동합니다. 갤럭시 S26과 Pixel 10에 화면 자동화가 먼저 올라간 것도, 두 기기가 안드로이드 16 기반으로 출시됐기 때문입니다. 갤럭시 S25나 Pixel 9 사용자가 업데이트를 받아도 이 기능은 쓸 수 없다는 뜻이기도 합니다. 구글이 공식적으로 이유를 밝히지 않았지만, AppFunctions 플랫폼 자체가 Android 16 API에 묶여 있습니다.
자주 묻는 질문 5가지
마치며 — 되는 것과 아직 안 되는 것
Gemini 화면 자동화는 AI 비서가 드디어 앱을 직접 다루기 시작했다는 점에서 분명히 의미 있는 변화입니다. 시리가 10년 넘게 약속했던 “나 대신 해줘”가 배달·차량 호출이라는 좁은 영역에서나마 실제로 작동하기 시작했습니다.
솔직히 말하면, 지금 당장은 쓸 수 있는 앱이 너무 적고 클라우드 의존 구조라 네트워크 없이는 작동하지 않습니다. 무료 계정의 하루 5회 한도도 일상 사용자에겐 금방 빠듯하게 느껴질 수 있습니다. 베타 단계답게 실제 테스트에서 폰을 재부팅해야 하는 버그도 있었습니다.
하지만 AppFunctions라는 표준 인터페이스를 앱 생태계 전체에 깔아놓았다는 건 다른 이야기입니다. 개발자들이 자기 앱을 AI 에이전트와 연동하기 시작하면, 지원 앱 목록은 빠르게 늘어날 겁니다. 지금 기능 자체보다 이 구조가 더 중요합니다. 갤럭시 S26 사용자라면 Gemini 앱 설정에서 ‘Screen Automation’ 항목을 찾아 직접 켜볼 수 있습니다.
본 포스팅 참고 자료
- Google Official Blog — “Let Gemini handle your multi-step daily tasks on Android” (blog.google, 2026.02.25)
- Google Gemini 고객센터 — 유틸리티로 Android 기기 및 앱 제어하기 (support.google.com)
- 9to5Google — “Gemini has a new trick up its sleeve with agentic task automation” (9to5google.com, 2026.03.12)
- 9to5Google — “Gemini screen automation for Android apps has free, AI Pro usage limits” (9to5google.com, 2026.03.13)
- Android Developers 공식 문서 — “Overview of AppFunctions” (developer.android.com, 2026.03.09)
- Palo Alto Networks Unit42 — CVE-2026-0628 Chrome Gemini 취약점 (unit42.paloaltonetworks.com, 2026.03.02)
본 포스팅은 2026년 3월 28일 기준으로 작성되었습니다. 본 포스팅 작성 이후 서비스 정책·UI·기능이 변경될 수 있습니다. 요금제 및 지원 앱 목록은 구글 공식 채널에서 최신 정보를 확인하세요.
댓글 남기기