역대급 추론 점수, 그런데 왜 업무에선 꼴찌인가

2026년 2월 19일, 구글은 제미나이 3.1 Pro를 발표하면서 ARC-AGI-2 벤치마크 77.1%라는 수치를 앞세웠습니다. 이 숫자는 단순한 성능 향상이 아닙니다. 직전 모델인 제미나이 3 Pro가 기록한 31.1%에서 두 배 이상 뛰어오른 것이며, 고급 과학 추론 전용으로 설계된 제미나이 3 Deep Think 모드(45.1%)마저 훌쩍 넘어서는 수치입니다.

그런데 같은 발표 자리에서 공개된 또 다른 수치가 있습니다. 44개 직업군에 걸친 업무 지식 능력을 평가하는 GDPval-AA Elo 점수에서 제미나이 3.1 Pro는 1,317점으로, Claude Sonnet 4.6(1,633점), Claude Opus 4.6(1,606점), GPT-5.2(1,462점)에 모두 뒤처지는 꼴찌입니다. (출처: Google DeepMind 공식 비교 테이블, 2026.02.19)

즉, 제미나이 3.1 Pro는 낯선 논리 패턴을 풀어내는 능력에서는 현존 최강이지만, 기업 현장의 문서 작성·분석·의사결정 지원처럼 ‘아는 것을 잘 쓰는’ 영역에서는 가장 약한 모델입니다. 이 두 사실이 동시에 성립하는 이유를 지금부터 구조적으로 설명합니다.

▲ 목차로 돌아가기

ARC-AGI-2 77.1%의 실체: 전작 대비 정확히 무엇이 달라졌나

ARC-AGI-2는 기존 벤치마크와 근본적으로 다른 시험입니다. 대부분의 AI 평가는 학습 데이터에 포함된 패턴을 얼마나 잘 재현하는지를 측정합니다. 반면 ARC-AGI-2는 모델이 한 번도 본 적 없는 완전히 새로운 추상 도형과 논리 규칙을 실시간으로 던져주고, 스스로 규칙을 발견해 적용하도록 요구합니다. 패턴 암기가 아닌 ‘즉석 추론’을 측정하는 것입니다.

제미나이 3.1 Pro가 이 시험에서 77.1%를 기록할 수 있었던 핵심은 MoE(희소 전문가 혼합) 아키텍처와 강화학습 기반 후처리 학습의 결합입니다. 전체 매개변수를 항상 활성화하는 대신, 입력 문제의 특성에 맞는 전문화된 하위 신경망만 동적으로 켜는 방식으로 연산 효율을 유지하면서도 추론 깊이를 극대화했습니다. 전작(31.1%)에서 이번 버전(77.1%)으로의 상승 폭은 약 46%포인트로, 이는 단순 스케일업이 아닌 구조적 설계 변화의 결과입니다. (출처: Google 공식 블로그, 2026.02.19)

그런데 바로 이 MoE 구조가 역설을 만들어냅니다. 낯선 논리 문제에는 최적화된 전문가 경로가 즉각 활성화되어 강점을 발휘하지만, 비즈니스 문서 작성이나 직업별 지식 응용처럼 여러 영역의 ‘상식’을 유연하게 조합해야 하는 작업에서는 특화 경로보다 범용 언어 패턴이 더 중요해집니다. 여기서 제미나이는 클로드 계열 모델에 비해 상대적으로 약한 면모를 드러냅니다.

▲ 목차로 돌아가기

‘사고 서명’ 누락이 에이전트를 조용히 망가뜨리는 구조

제미나이 3.1 Pro를 에이전트로 구축할 때 가장 많이 간과되는 기술적 함정이 있습니다. 바로 ‘Thought Signatures(사고 서명)’입니다. 이 개념은 기존 블로그 포스팅에서 거의 언급되지 않지만, 실제 다단계 자동화 워크플로우를 운영할 때 에이전트가 무너지는 가장 흔한 원인입니다.

사고 서명이란 모델이 특정 문제를 풀기 위해 전개한 내부 추론 과정을 암호화된 형태로 캡슐화한 데이터입니다. 항공편 조회 후 택시 예약까지 이어지는 다단계 에이전트 시나리오를 예로 들면, 첫 번째 API 호출(항공편 조회)에서 생성된 사고 서명이 두 번째 호출(택시 예약)에 함께 전달되지 않으면, 모델은 자신이 왜 항공편을 조회했는지, 원래 목표가 무엇이었는지를 ‘잊어버립니다.’ 구글 공식 SDK에서는 이 서명 관리를 자동화하지만, 커스텀 에이전트 환경에서는 개발자가 직접 서명 체인을 유지해야 합니다.

실제 사용자들의 Reddit 피드백(r/GeminiAI, 2026.02.21)에서도 이 현상이 확인됩니다. 복잡한 코딩 에이전트 작업을 부여했을 때 모델이 “문제에 완전히 몰입 중입니다…”와 같은 내부 사고 텍스트를 90초 이상 반복하며 실제 코드 작성으로 넘어가지 못하는 ‘계획 루프’ 현상이 빈번하게 보고되고 있습니다. 이 루프는 단순한 모델 한계가 아니라 사고 서명과 도구 호출 간의 연결이 끊어졌을 때 나타나는 구조적 증상입니다.

▲ 목차로 돌아가기

100만 토큰이 비싸지는 지점: 200k 초과 과금 역전

제미나이 3.1 Pro의 가장 강력한 마케팅 포인트는 100만 토큰(1M) 컨텍스트입니다. 그런데 이 숫자에는 중요한 전제가 붙어 있습니다. 가격이 200,000 토큰을 기점으로 구조가 바뀝니다.

200k 토큰 이하 구간에서는 입력 $2/1M, 출력 $12/1M입니다. 그러나 200k를 초과하는 순간, 입력 $4/1M, 출력 $18/1M으로 자동 상향됩니다. 즉, 대용량 컨텍스트를 사용할수록 비용이 선형이 아닌 계단식으로 오릅니다. 반면 GPT-5.2는 400k 토큰을 단일 가격($1.75/$14)으로 제공하며, 캐시된 입력은 $0.175/1M으로 90% 할인됩니다. (출처: AceCloud 기술 비교, 2026.02.27 / Google AI Studio 공식 가격표)

물론 음성·영상·PDF를 동시에 처리해야 하는 멀티모달 워크플로우에서는 제미나이 3.1 Pro가 유일한 선택지입니다. GPT-5.2와 Claude 4.6 모두 텍스트·이미지만 지원하기 때문입니다. 단, “1M 토큰이 있으니 무조건 싸다”는 가정은 실제 에이전트 운영 환경에서는 성립하지 않을 수 있습니다.

▲ 목차로 돌아가기

4대 모델 실전 벤치마크 비교: 어떤 작업에 누가 이기나

2026년 2월~3월 현재 프런티어 AI 시장은 제미나이 3.1 Pro, Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.2 네 모델이 각각 다른 영역의 왕좌를 나눠 갖는 구조입니다. 어느 하나가 모든 분야를 지배하지 않습니다.

이 표에서 가장 눈여겨봐야 할 지점은 SWE-Bench Verified 코딩 점수가 네 모델 모두 80%대로 수렴한다는 사실입니다. 코딩 능력만으로 모델을 고르는 시대는 이미 끝났습니다. 실제 선택 기준은 입력 데이터 형식(텍스트·음성·영상 여부), 에이전트 워크플로우의 반복 횟수에 따른 비용, 그리고 업무 문서 품질 중 어느 축에 우선순위를 두느냐에 달려 있습니다.

▲ 목차로 돌아가기

제미나이 3.1 Pro를 써야 하는 경우·쓰지 말아야 하는 경우

수집된 공식 데이터와 실사용 피드백을 종합하면, 제미나이 3.1 Pro가 명확히 유리한 시나리오와 그렇지 않은 시나리오가 갈립니다. 어떤 모델이 ‘무조건 최고’라는 결론보다, 어떤 상황에서 어떤 선택이 합리적인지를 구분하는 것이 지금 시점에서 가장 실용적입니다.

✅ 제미나이 3.1 Pro가 유리한 상황

• 대용량 단발성 분석: 수십만 토큰짜리 레거시 코드 저장소 전체를 한 번에 읽어 의존성 분석이나 아키텍처 설계를 수행할 때. 반복 호출이 없고 1M 컨텍스트를 일회성으로 활용하는 경우라면 비용 이슈 없이 독보적인 성능을 냅니다.
• 멀티모달 데이터 파이프라인: 회의 녹음(오디오), 데모 영상, PDF 계약서를 동시에 넣어야 하는 워크플로우. GPT-5.2와 Claude 4.6은 텍스트·이미지만 지원하므로 대안이 없습니다.
• SVG·3D 애니메이션 코딩: 실사용 피드백과 JetBrains, Cartwheel, Hostinger 등의 기업 리뷰에서 공통적으로 창의적 코딩과 시각 요소 생성에서 압도적이라는 평가를 받습니다.
• 새로운 논리 문제 설계·연구: ARC-AGI-2 77.1%가 입증하듯, 완전히 새로운 규칙을 실시간으로 발견해야 하는 연구·실험 설계 작업.

❌ 제미나이 3.1 Pro가 불리한 상황

• 반복 호출 에이전트 파이프라인: 동일 컨텍스트를 반복 재사용하는 환경에서는 GPT-5.2 캐싱 대비 수십 배 비용이 발생할 수 있습니다.
• 기업 문서 작성·분석·의사결정 지원: GDPval-AA Elo 1,317점(4위)이 보여주듯, 비즈니스 보고서나 이메일 작성, 시장 분석 리포트 품질에서는 Claude Sonnet 4.6이나 Opus 4.6이 더 신뢰할 수 있습니다.
• 장기 다중 파일 코딩 세션: 수 시간에 걸쳐 여러 파일을 지속적으로 리팩토링하는 작업에서는 Claude Opus 4.6의 컨텍스트 압축 알고리즘이 더 안정적입니다. 제미나이는 계획 루프에 빠지거나 파일 시스템 도구 사용에서 불안정한 모습을 보이기도 합니다.

▲ 목차로 돌아가기

자주 묻는 질문 5선

▲ 목차로 돌아가기

마치며 — 수치가 말하지 않는 것을 읽는 법

제미나이 3.1 Pro는 분명 의미 있는 모델입니다. ARC-AGI-2 77.1%는 단순한 벤치마크 숫자가 아니라, AI가 암기를 넘어 ‘즉석 추론’을 구조적으로 학습할 수 있다는 증거입니다. 그리고 이것이 미래 AI 발전 방향의 진짜 지표라는 점에서 구글의 이번 도약은 기술적으로 중요합니다.

그러나 같은 모델이 업무 지식 평가에서 꼴찌라는 사실, 반복 에이전트 환경에서의 비용 역전, 사고 서명 누락이 일으키는 조용한 품질 저하는 보도자료에서는 잘 드러나지 않습니다. 이런 지점을 공식 데이터로 직접 확인하고 판단하는 것이 2026년 AI 도구를 제대로 쓰는 출발점입니다.

지금 당장 제미나이 3.1 Pro가 필요한지 판단하는 가장 빠른 기준은 세 가지입니다. 첫째, 음성·영상·대용량 문서를 한 번에 처리해야 하는가. 둘째, 단발성 분석이 주요 작업인가, 반복 호출 에이전트인가. 셋째, 논리·과학 추론이 핵심인가, 비즈니스 문서 품질이 핵심인가. 이 세 질문에 대한 답이 자연스럽게 모델 선택으로 이어집니다.

▲ 목차로 돌아가기

본 포스팅 참고 자료

1. Google 공식 블로그 — 제미나이 3.1 프로 출시 발표 (2026.02.19): https://blog.google/intl/ko-kr/products/gemini-3-1-pro-kr/
2. Google Cloud 공식 블로그 — Vertex AI·Gemini Enterprise 배포 (2026.02.19): https://cloud.google.com/blog/products/ai-machine-learning/gemini-3-1-pro…
3. AceCloud 기술 비교 — Gemini 3.1 Pro vs Sonnet 4.6 vs Opus 4.6 vs GPT-5.2 (2026.02.27): https://acecloud.ai/blog/gemini-3-1-pro-vs-sonnet-4-6-vs-opus-4-6-vs-gpt-5-2/
4. Reddit r/GeminiAI — 실사용 피드백: 계획 루프 문제 (2026.02.21): https://www.reddit.com/r/GeminiAI/comments/1rak0rs/
5. Google AI Studio — Gemini 3.1 Pro Preview API 접속: https://aistudio.google.com