Интернет-компания Cloudflare по умолчанию начнет блокировать роботам с искусственным интеллектом доступ к контенту без разрешения или компенсации владельцев веб-сайтов, что может существенно повлиять на способность разработчиков ИИ обучать свои модели.
Начиная с 01.07.2025 г., каждый новый веб-домен, который регистрируется в Cloudflare, будет получать запрос о том, хочет ли он разрешить работу краулеров с искусственным интеллектом, что фактически даст собственникам доменов возможность запретить ботам собирать данные с их сайтов. Компания также позволит издателям взимать плату за доступ краулеров ИИ, используя новую модель «pay per crawl».
Cloudflare — это так называемая сеть доставки контента, или CDN. Она помогает компаниям быстрее доставлять онлайн-контент и приложения, кэшируя данные ближе к конечным пользователям. Они играют важную роль в обеспечении беспрепятственного доступа людей к веб-контенту каждый день.
По оценкам компании, в отчете за 2023 год, около 16 % мирового интернет-трафика проходит непосредственно через CDN Cloudflare.
«ИИ-краулеры беспрепятственно соскабливают контент. Наша цель — вернуть власть в руки создателей, помогая при этом компаниям, использующим ИИ, внедрять инновации», — сказал Мэтью Принс, соучредитель и генеральный директор Cloudflare, в своем заявлении.
«Речь идет о защите будущего свободного и динамичного Интернета с помощью новой модели, которая работает для всех», — добавил он.
Что такое ИИ-краулеры?
ИИ-краулеры — это автономные боты, предназначенные для извлечения большого количества данных с веб-сайтов, из баз данных и других источников информации для обучения больших языковых моделей, созданных такими компаниями, как OpenAI и Google.
Если раньше интернет вознаграждал создателей, направляя пользователей на оригинальные сайты, то сегодня, по мнению Cloudflare, ИИ-краулеры нарушают эту модель, собирая текст, статьи и изображения для создания ответов на запросы таким образом, чтобы пользователям не нужно было посещать первоисточник.
Это, по мнению компании, лишает издателей жизненно важного трафика и, в свою очередь, доходов от онлайн-рекламы.
Принятый 01.07.2025 г. шаг основывается на инструменте Cloudflare, запущенном в сентябре прошлого года, который дает издателям возможность блокировать ИИ-краулеры одним щелчком мыши. Теперь компания идет дальше, делая эту функцию по умолчанию для всех сайтов, которым она предоставляет услуги.
OpenAI заявила, что отказалась участвовать в предварительном просмотре плана Cloudflare по блокировке ИИ-краулеров по умолчанию, сославшись на то, что сеть доставки контента добавляет в систему посредника.
Лаборатория искусственного интеллекта, поддерживаемая Microsoft, подчеркнула свою роль первопроходца в использовании robots.txt, набора кода, который предотвращает автоматический сбор веб-данных, и заявила, что ее краулеры уважают предпочтения издателей.
«ИИ-краулеры обычно считаются более инвазивными и избирательными, когда речь идет о данных, которые они собирают. Их обвиняют в том, что они перегружают веб-сайты и существенно влияют на пользовательский опыт», — рассказал CNBC, Мэтью Холман, партнер британской юридической фирмы Cripps.
«Если разработка окажется эффективной, то она будет препятствовать возможности чат-ботов с искусственным интеллектом собирать данные для обучения и поиска», — добавил он. «Это, вероятно, окажет краткосрочное влияние на обучение моделей ИИ, а в долгосрочной перспективе может повлиять на жизнеспособность моделей».