Cloudflare가 AI 업계에 기존 검색용 웹 크롤러와 AI 에이전트 및 학습용 크롤러를 분리해야 한다는 새로운 시한을 제시했습니다. Cloudflare는 수요일 발표를 통해 2026년 9월 15일부터 광고가 게재된 페이지에서는 '혼합 용도' 크롤러를 기본적으로 차단하도록 기본 설정을 변경한다고 밝혔습니다.
이는 검색, AI 에이전트, AI 학습 기능을 하나의 크롤러에서 함께 수행하는 크롤러가 사이트 운영자가 별도로 설정을 변경하지 않는 한 해당 사이트를 기본적으로 크롤링할 수 없다는 의미입니다. Cloudflare에 따르면 이 기본 설정 변경은 신규 Cloudflare 고객, 기존 고객이 새롭게 구축하는 사이트, 그리고 모든 기존 무료 고객에게 적용됩니다.
이번 조치는 AI 모델 개발사들이 AI 학습과 에이전트 서비스 제공을 위해 웹 콘텐츠에 접근하는 방식에 적지 않은 영향을 미칠 것으로 보입니다.
Cloudflare는 대부분의 웹사이트 운영자들이 자신의 콘텐츠가 검색엔진을 통해 노출되고 AI 서비스에서도 활용되기를 원하지만, 동시에 자신의 지식재산(IP)이 아무런 대가 없이 제공되는 것은 원하지 않는다고 지적했습니다.
특히 Cloudflare는 "세계 최대 검색엔진"(사실상 Google을 지칭)을 언급하며, 해당 업체는 검색 서비스를 통해 다른 AI 기업보다 약 두 배 많은 정보에 접근할 수 있는 위치에 있다고 주장했습니다. 또한 Google은 사이트 운영자가 검색 노출을 유지하면서 AI 학습만 차단하기 어렵게 만든다고도 지적했습니다.
이에 대해 Google은 과거부터 이러한 주장에 반박해 왔습니다. Google은 Google Extended라는 봇을 제공해 사이트 운영자가 자신의 콘텐츠가 Gemini Apps, Vertex API 등 AI 제품과 서비스의 학습에 사용되지 않도록 선택할 수 있으며, 이를 사용하더라도 Google Search 검색 노출에는 영향을 주지 않는다고 설명했습니다. 다만 Google의 대표 크롤러인 Googlebot은 AI Overviews와 AI Mode를 포함한 Google Search 기능을 위해 계속 크롤링을 수행합니다.
Cloudflare 공동 창업자이자 CEO인 Matthew Prince는 이번 발표에서 다음과 같이 밝혔습니다.
"이제 인터넷 트래픽의 대부분이 사람이 아닌 봇에서 발생하고 있는 만큼, 지속 가능한 생태계를 만들기 위해서는 더욱 빠르고 적극적으로 대응해야 합니다."
그는 최근 인터넷에서 봇 트래픽이 처음으로 사람의 트래픽을 넘어섰으며, 이는 당초 내년에 일어날 것으로 예상됐던 변화라고 덧붙였습니다.
이어 그는 다음과 같이 설명했습니다.
"Cloudflare의 새로운 도구와 파트너십은 웹사이트 운영자에게 더 높은 가시성과 새로운 수익 기회를 제공하는 동시에, 명확하고 투명한 목적을 가진 봇을 운영하는 AI 기업에도 도움이 됩니다. 우리는 이번 기본 설정 변경이 혼합 용도(Mixed-use) 크롤러들이 검색 기능과 AI 에이전트·학습 기능을 서로 분리하도록 유도하길 기대합니다."
Cloudflare는 사용자가 자체 AI 시스템을 구축할 수 있도록 다양한 제품을 제공하고 있는 한편, AI 시대에 맞춰 콘텐츠 게시자가 자신의 콘텐츠를 보다 효과적으로 통제할 수 있는 도구도 지속적으로 출시하고 있습니다. 최근 몇 년 동안에는 AI 크롤러 대응 도구를 선보였으며, AI 봇이 콘텐츠를 수집할 경우 비용을 지불하도록 하는 Pay Per Crawl 마켓플레이스도 공개한 바 있습니다.
Cloudflare는 Pay Per Crawl이 이제 Pay Per Use 모델로 발전한다고 밝혔습니다. 이는 AI 봇이 단순히 콘텐츠를 가져가는 시점이 아니라, 콘텐츠가 실제로 AI 서비스에서 가치를 창출할 때 게시자에게 비용을 지급하는 방식입니다.
또한 이번 변화는 게시자의 대역폭과 컴퓨팅 자원 절감에도 도움이 될 것으로 기대됩니다. Cloudflare의 데이터에 따르면 AI 크롤러의 전체 크롤링 트래픽 가운데 50% 이상이 변경되지 않은 페이지를 반복해서 다시 가져오는 데 사용되고 있기 때문입니다.
Cloudflare는 이를 실제 서비스에 적용하기 위해 우선 Ceramic.ai와 You.com 두 곳과 협력하고 있습니다. 게시자가 참여를 선택하면 Ceramic.ai의 AI 검색 결과에 해당 콘텐츠가 노출되거나, You.com이 게시자의 프리미엄 콘텐츠에 접근할 때마다 게시자에게 비용이 지급됩니다.
Cloudflare는 다른 AI 기업들도 각자의 서비스 방식에 맞춰 이 모델을 자유롭게 적용할 수 있다고 설명했습니다.
|