Cloudflare перекрывает кислород AI-агентам: с 15 сентября доступ только по согласию
Cloudflare с 15 сентября блокирует AI-агенты и обучающие краулеры по умолчанию на страницах с рекламой — тех самых, где живут новости, цены и обзоры. Поисковые боты пока в белом списке, но если заблочить обучение, вместе с ним исчезнет и Googlebot. Разработчикам агентов нужно договариваться о доступе до дедлайна, иначе их инструменты начнут работать вслепую.
Это первая масштабная попытка превратить доступ к веб-контенту для AI в платную услугу. Для разработчиков агентов это означает срочную перестройку архитектуры и переговоры о доступе, для издателей — выбор между монетизацией AI-трафика и сохранением видимости в Google.
Конец эпохи открытого веба для AI
Cloudflare объявила 1 июля: с 15 сентября AI-агенты и обучающие краулеры будут заблокированы по умолчанию на страницах с рекламой. Это касается всех новых клиентов и пользователей бесплатного тарифа — а значит, огромного куска интернета. Контроль работает на сетевом уровне, так что проигнорировать его через robots.txt не выйдет.
Cloudflare разделила ботов на три категории: - Search (поисковые индексаторы) — пока разрешены - Agent (боты, работающие в реальном времени для пользователя, включая ChatGPT) — блокируются - Training (краулеры для обучения моделей) — блокируются
Логика проста: если на странице реклама — её делали для живых людей. Поисковик приводит трафик, а агент читает и уносит ответ с собой.
Проблема Google и точка давления
Googlebot ползает и для поиска, и для обучения в одном флаконе. Если заблокировать Training, вместе с ним исчезнет и индексация для Google Поиска — а значит, и органический трафик. Глава Cloudflare Мэттью Принс говорит, что это «стимул разделить назначения ботов» — вежливая формулировка для открытого давления.
Что делать разработчикам агентов
Большинство корпоративных агентов строились на предположении, что веб остаётся открытым: агент проверяет цены конкурента, мониторит новости поставщика, тянет спецификации. Лицензий не требовалось, пока не потребовалось.
Теперь нужно: 1. Понять, какие из ваших Cloudflare-аккаунтов попадут под категорию Agent (классификация поведенческая, а не декларативная) 2. Договориться о доступе до 15 сентября — смена user-agent не поможет 3. Готовиться к частичной деградации: агент увидит часть сайтов, но не страницы с рекламой — а там как раз новости, обзоры и цены
Новая экономика доступа
Появляется модель Pay Per Use: Ceramic.ai платит издателям за появление контента в AI-поиске, You.com — за доступ к премиум-материалам. Cloudflare заявляет, что больше половины трафика AI-краулеров уходит на повторное скачивание неизменившихся страниц — есть что оптимизировать.
Слабое место новой системы — таксономия построена на честности AI-компаний. Фирма, которая не хочет, чтобы её обучающий краулер считался обучающим, может просто не декларировать это. Как Cloudflare будет это контролировать — не объясняется.
30 лет открытого веба закончились, теперь счёт выставляется построчно. У кого есть время разобраться до сентября — справятся. Остальные узнают о проблеме из кода ошибки 403 и будут латать на ходу.
Ключевые выводы
- Cloudflare закрывает доступ AI-агентам к страницам с рекламой — именно там живёт большая часть полезного контента: новости, цены, обзоры
- Блокировка Training-краулеров автоматически блокирует Googlebot, что убивает органический поиск — расчётливое давление на разделение функций ботов
- Классификация ботов поведенческая, а не декларативная: не важно, как вы назвали агента, важно, что он делает
- Появляется рынок платного доступа к контенту для AI: Ceramic.ai и You.com уже платят издателям, модель Pay Per Use набирает обороты
- Больше половины трафика AI-краулеров — бесполезное перескачивание неизменившихся страниц, есть пространство для оптимизации и ценообразования
Автор: Ольга Ким · Источник: artificialintelligence-news.com
Это не про блокировку ботов, это про деньги. Cloudflare фактически строит toll road для AI-компаний: хочешь читать страницы в реальном времени — плати или договаривайся. Момент выбран умно: агенты ещё не стали массовым продуктом, но уже съедают трафик, а издатели уже злятся, но ещё не придумали, как это монетизировать.
Самое грязное тут — ход с Googlebot. Заблокируешь обучение — потеряешь поиск. Это не баг, это feature: Cloudflare загоняет Google в угол, заставляя разделить ботов. А издателям предлагает выбрать между принципами и деньгами. Для разработчиков корпоративных агентов это головная боль: большинство строили на предположении, что robots.txt — это максимум препятствий. Теперь нужна не техническая обходилка, а деловая договорённость. Кто опоздает — получит незаметную деградацию, когда агент молча перестаёт видеть самые нужные страницы.
Комментарии