AI 봇 트래픽, robots.txt 믿어도 될까요?

2025년 한 해 동안 AI가 만들어낸 자동화 트래픽이 인간 트래픽보다 8배 빠르게 성장했습니다. 블로그를 운영하거나 웹사이트를 관리한다면, 지금 이 순간에도 방문자 상당수가 사람이 아닐 수 있습니다. robots.txt 한 줄로 다 막힌다고 생각했다면 — 실제 서버 로그를 먼저 봐야 합니다.

AI 봇 트래픽, 지금 얼마나 커졌나

결론부터 말씀드리면, 이미 인터넷 구조가 바뀌었습니다. 사이버 보안 업체 HUMAN Security가 2026년 3월에 발표한 보고서에 따르면, 2025년 한 해 동안 자동화 트래픽(비인간 트래픽 전체)은 인간 트래픽보다 약 8배 빠른 속도로 성장했습니다. 인간 트래픽이 3.10% 증가하는 동안 자동화 트래픽은 23.51% 뛰었습니다. (출처: HUMAN Security, 2026 State of AI Traffic & Cyberthreat Benchmark Report)

그 중에서도 AI가 만들어낸 트래픽만 따로 보면 더 가파릅니다. 2025년 1월부터 12월까지 AI 기반 트래픽 월간 볼륨이 187% 증가했고, 연간 기준으로는 거의 3배 가까이 늘었습니다. GPT, 클로드, 제미나이 같은 LLM이 대중화되면서 이 서비스들이 웹을 크롤링하고 실시간 데이터를 가져오는 빈도가 폭발적으로 늘어난 것입니다.

Cloudflare CEO 매튜 프린스는 2026년 3월 오스틴 SXSW 컨퍼런스에서 이 흐름이 계속되면 2027년에는 AI 봇 트래픽이 인간 트래픽을 완전히 추월할 것이라고 전망했습니다. 전 세계 웹사이트의 약 20%를 처리하는 회사의 CEO가 직접 한 발언이라 그냥 지나치기 어렵습니다. (출처: TechCrunch, 2026.03.19)

▲ 목차로 돌아가기

OpenAI 봇 혼자서 69%를 만든다는 것의 의미

AI 봇 트래픽의 운영사 분포를 보면 놀라울 정도로 집중되어 있습니다. HUMAN Security 보고서에서 2025년 전체 AI 봇 트래픽 중 OpenAI의 봇들(GPTBot, ChatGPT-User, OAI-SearchBot, ChatGPT Agent)이 약 69%를 차지했습니다. Meta-ExternalAgent가 16%, ClaudeBot 등 Anthropic 계열이 약 11%였고, 나머지 수십 개 봇이 합쳐서 5% 미만이었습니다.

이 수치가 실질적으로 의미하는 건 간단합니다. GPTBot 하나만 차단해도 AI 봇 트래픽의 3분의 2 이상을 걷어낼 수 있다는 뜻입니다. 반대로, GPTBot만 막으면 다 됐다고 안심하면 나머지 31%가 그대로 남습니다. 또한 Cloudflare의 별도 데이터를 보면 상위 100만 개 인터넷 자산 중 AI 봇이 접근한 비율은 38.73%였지만, 실제로 차단 조치를 취한 비율은 2.98%에 불과했습니다. (출처: Cloudflare 공식 블로그, 2024.07.03) 대부분은 아무 조치도 없는 채 방치된 상태입니다.

▲ 목차로 돌아가기

robots.txt를 믿으면 안 되는 진짜 이유

AI 봇 차단 이야기를 꺼내면 대부분 “robots.txt에 GPTBot 막아놨어요”라고 합니다. 이게 효과가 없다는 말은 아닙니다. 하지만 써봐야 확인하는 부분이 있습니다.

DataDome의 보안 연구팀이 2025년 12월에 실제로 Grok(xAI)에게 특정 URL 하나를 가져오라고 요청한 뒤 서버 로그를 분석했습니다. 결과가 흥미롭습니다. 요청 16건이 12개의 서로 다른 IP 주소에서 들어왔는데, Grok임을 밝히는 user-agent 문자열은 단 한 건도 없었습니다. 대신 MacOS Chrome, iPhone Safari 등 사람이 쓰는 것처럼 위장한 user-agent로 접근했습니다. (출처: DataDome, 2025.12.11)

robots.txt에 “Disallow: /” 써놔도 봇이 자기 이름을 밝히지 않으면 적용될 방법이 없습니다. Cloudflare는 이미 이 문제를 공식 블로그에서 직접 언급했습니다 — “봇 운영자는 user-agent를 쉽게 변경할 수 있어 이러한 조치가 큰 효과를 발휘하지 못합니다.” (출처: Cloudflare 공식 블로그, 2024.07.03) Perplexity가 Amazon으로부터 법적 경고를 받은 것도 같은 이유입니다. 사람인 척 위장하면서 차단을 우회했다는 의혹이었습니다.

이 부분이 기존에 “robots.txt 잘 쓰면 OK” 식으로 정리된 한국어 글들이 다루지 않는 지점입니다. 공식 발표문과 실제 서버 로그를 같이 놓고 보면, robots.txt는 협조적인 봇에만 통하는 신사협정이지 강제력 있는 방어막이 아닙니다.

▲ 목차로 돌아가기

AI 에이전트는 이미 결제까지 완료하고 있습니다

AI 봇 트래픽을 이야기할 때 크롤러(학습용 데이터 수집)와 스크래퍼(실시간 정보 추출)만 떠올리기 쉽습니다. 그런데 HUMAN Security 보고서에서 가장 주목할 데이터는 세 번째 카테고리인 ‘에이전트(Agentic AI)’입니다. AI 에이전트 트래픽은 2024년 대비 7,851% 성장했습니다. 숫자가 너무 커서 피부에 안 닿을 수 있는데, 절대량 기준으로도 주요 디지털 서비스에서 측정 가능한 수준으로 이미 올라와 있습니다.

그리고 에이전트 트래픽의 페이지 카테고리를 분해해보면 — 상품/검색 페이지 77%, 계정 페이지 8.82%, 인증(로그인) 페이지 4.95%, 결제(체크아웃) 페이지 2.31%입니다. 결제 페이지 2.31%가 작아 보이지만, 이게 “사람의 개입 없이 AI가 자율적으로 결제까지 완료한다”는 의미입니다. 이전까지는 이론적으로만 가능하다고 했던 행동입니다. 2025년 데이터는 그것이 이미 실제로 일어나고 있음을 확인합니다.

HUMAN Security 보고서는 이 상황을 이렇게 정리합니다. “제품을 검색하고 계정에 접근하고 결제를 완료하는 AI 에이전트는 실제 고객을 대신하는 것일 수도 있고, 자율적으로 카딩 공격을 실행하는 것일 수도 있다. 행동은 같다. 의도만 다르다.” 전체 자동화 트래픽에서 정상 자동화와 악성 자동화의 비율 차이가 0.5%에 불과하다는 수치가 이 맥락에서 나옵니다. 악성인지 아닌지는 ‘누가 왔는가’가 아니라 ‘무엇을 하려는가’로 판단해야 한다는 뜻입니다.

▲ 목차로 돌아가기

모델 출시 직전에 크롤러가 폭증하는 패턴

HUMAN Security 보고서에서 보고서 자체도 주목한 데이터가 있습니다. AI 학습 크롤러 트래픽이 2025년에 가장 급증한 시점이 10월이었습니다. 그리고 10월 이후인 11월 17일부터 12월 11일 사이에 xAI의 Grok 4.1, 구글의 Gemini 3, Anthropic의 Claude Opus 4.5, OpenAI의 GPT-5.2가 연달아 출시됐습니다.

HUMAN Security는 보고서에서 직접 이렇게 해석합니다. “10월의 크롤링 급증은 출시 전 데이터 수집 주기와 일치하며, 이는 AI 학습 크롤러 볼륨이 모델 출시 일정을 앞서 움직이기 시작했음을 시사합니다.” (출처: HUMAN Security, 2026 State of AI Traffic & Cyberthreat Benchmark Report) 모델 출시 시즌에 웹 크롤러 트래픽이 미리 치솟는 구조입니다.

이 패턴을 알고 있으면 서버 관리 측면에서 대비가 달라집니다. 매년 하반기, 특히 대규모 AI 모델 발표가 예고되는 시기에 크롤러 트래픽 피크가 반복될 가능성이 높다는 뜻입니다. 아직 이 시각으로 접근한 한국어 글은 거의 없습니다.

▲ 목차로 돌아가기

실제로 차단하려면 무엇이 필요한가

robots.txt만으로 부족하다면 어떻게 해야 할까요. 현재까지 가장 실용적인 접근은 세 가지입니다.

① Cloudflare AI 스크래퍼 차단 토글 (무료)

Cloudflare를 이미 사용하고 있다면 대시보드 → 보안 → 봇 → ‘AI 스크래퍼 및 크롤러’ 토글을 켜면 됩니다. 무료 등급 포함 전 고객에게 제공됩니다. Cloudflare는 새로운 AI 크롤러 지문이 발견될 때마다 자동으로 업데이트하고, user-agent를 바꿔 위장하는 봇도 ML 모델로 탐지합니다. (출처: Cloudflare 공식 블로그, 2024.07.03)

② robots.txt + IP 대역 검증 병행

robots.txt는 협조하는 봇에게만 효과가 있습니다. 이를 보완하려면 OpenAI, Anthropic 등이 공식 공개한 크롤러 IP 대역을 서버 방화벽 또는 WAF에서 추가로 검증하는 방식이 있습니다. 단, IP 대역은 주기적으로 바뀌기 때문에 지속 관리가 필요합니다.

③ 행동 기반 탐지 — user-agent는 신뢰하지 않는 방식

Grok 사례처럼 정상 브라우저를 위장한 AI 에이전트에는 user-agent 기반 차단이 통하지 않습니다. DataDome, PerimeterX 같은 봇 관리 솔루션은 행동 패턴(초단위 다중 IP 요청, 디렉터리 맵핑 패턴 등)을 분석해 AI 에이전트임을 식별합니다. 단, 이는 유료 솔루션이라 규모에 따라 비용 검토가 필요합니다.

▲ 목차로 돌아가기

Q&A

▲ 목차로 돌아가기

마치며 — 총평

HUMAN Security 보고서를 처음 봤을 때 숫자보다 맥락이 더 와닿았습니다. 187% 성장이나 7,851%라는 수치보다, “악성 자동화와 정상 자동화의 비율 차이가 0.5%에 불과하다”는 문장이 핵심이었습니다. AI 에이전트가 결제까지 완료하는 시대에 ‘이건 봇이니까 막자’는 이분법은 이미 작동하지 않습니다.

솔직히 말씀드리면, 이 보고서 나온 지 3~4일밖에 안 됐는데 한국어로 이 내용을 제대로 정리한 글이 거의 없었습니다. SXSW에서 Cloudflare CEO가 2027년 역전점을 언급했는데 그것도 마찬가지였습니다. 기대했던 것과 달리 공백이 꽤 컸고, 그래서 직접 원문을 확인하고 정리했습니다.

robots.txt를 믿어야 할지 말아야 할지 묻는다면 — 협조적인 봇에게는 여전히 유효하고, 숨으려는 AI 에이전트에게는 처음부터 의미가 없습니다. 그 둘을 구분하는 데 머신러닝 탐지가 들어오는 이유가 거기에 있습니다.

▲ 목차로 돌아가기

📚 본 포스팅 참고 자료

1. HUMAN Security — 2026 State of AI Traffic & Cyberthreat Benchmark Report
   https://www.humansecurity.com/learn/resources/2026-state-of-ai-traffic-cyberthreat-benchmarks/
2. TechCrunch — “Online bot traffic will exceed human traffic by 2027, Cloudflare CEO says” (2026.03.19)
   https://techcrunch.com/2026/03/19/online-bot-traffic-will-exceed-human-traffic-by-2027-cloudflare-ceo-says/
3. Cloudflare 공식 블로그 — “AIndependence: block AI bots, scrapers and crawlers with a single click” (2024.07.03)
   https://blog.cloudflare.com/ko-kr/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/
4. DataDome — “The Great Masquerade: How AI Agents Are Spoofing Their Way In” (2025.12.11)
   https://datadome.co/agent-trust-management/ai-agent-spoofing/
5. 디지털투데이 — “인터넷 판이 바뀌었다…AI 활동 폭발적 증가” (2026.03.27)
   https://news.nate.com/view/20260327n18982