Cloudflare вводит плату для ИИ-компаний за использование контента издателей

Компания Cloudflare объявила о новой политике, которая обяжет компании, занимающиеся искусственным интеллектом, платить владельцам веб-сайтов за использование их контента. Начиная с 15 сентября 2026 года, настройки Cloudflare по умолчанию будут блокировать «смешанные» веб-сканеры, которые используются как для традиционного поиска (например, Google Search), так и для обучения ИИ и работы ИИ-агентов, на страницах, содержащих рекламу.

Это означает, что сканеры, совмещающие функции поиска, работы агентов и обучения, будут по умолчанию заблокированы на таких сайтах, если владелец сайта не изменит настройки. Изменения коснутся новых клиентов Cloudflare, новых сайтов, созданных существующими клиентами, и всех существующих пользователей бесплатного тарифа.

Данный шаг может существенно повлиять на то, как поставщики ИИ-моделей смогут получать доступ к веб-контенту для обучения и работы своих сервисов.

Cloudflare отмечает, что большинство владельцев сайтов хотят, чтобы их контент был доступен через поиск и, возможно, через ИИ-сервисы, но при этом они хотят защитить свою интеллектуальную собственность от бесплатного использования.

Компания особо выделяет «крупнейшую в мире поисковую систему» (очевидно, имея в виду Google), которая, по их данным, имеет доступ «примерно к вдвое большему объему информации», чем другие ИИ-компании. Это связано с тем, что поисковый гигант затрудняет для клиентов возможность оставаться доступными для поиска, не будучи при этом используемыми для ИИ.

Ранее Google возражала против такого обобщения, отмечая, что предоставляет бота Google Extended, который позволяет владельцам сайтов отказаться от использования их контента для обучения и продуктов ИИ, таких как Gemini Apps и Vertex API. Его использование не влияет на индексацию сайта в Google Search. Однако флагманский Googlebot компании сканирует сайты для поиска, включая функции ИИ, такие как AI Overviews и AI Mode.

«Теперь, когда большинство трафика в интернете является нечеловеческим, мы должны пойти дальше и действовать быстрее, чтобы могла возникнуть устойчивая экосистема», — заявил сооснователь и генеральный директор Cloudflare Мэттью Принс в своем объявлении, ссылаясь на недавнюю веху, когда боты впервые превысили человеческий трафик в сети. Этот сдвиг не ожидался до следующего года.

«Новые инструменты и партнерские отношения Cloudflare предоставляют владельцам веб-сайтов повышенную прозрачность и коммерческие возможности, а также приносят пользу ИИ-компаниям, чьи боты имеют четкие и прозрачные намерения. Мы надеемся, что наши предлагаемые изменения по умолчанию побудят смешанные сканеры разделить поиск, использование агентов и обучение», — добавил Принс.

Хотя Cloudflare предлагает ряд продуктов, помогающих пользователям запускать собственные ИИ-системы, компания также выпустила набор инструментов, дающих издателям больше контроля над своим контентом в эпоху ИИ. В последние годы Cloudflare запустила инструменты для борьбы с ИИ-ботами, включая маркетплейс, позволяющий сайтам взимать плату с ИИ-ботов за парсинг, получивший название Pay Per Crawl.

Последний теперь также эволюционирует в «Pay Per Use», как заявила компания, что позволит издателям взимать плату с ИИ-компаний, когда их контент создает ценность, а не только когда он извлекается.

Изменение также может помочь сэкономить пропускную способность и вычислительные ресурсы издателей для поставщиков ИИ-моделей, поскольку данные Cloudflare показали, что более 50% трафика сканирования от ИИ-сканеров тратится на повторное извлечение неизмененных страниц.

Для реализации этой идеи Cloudflare сначала работает с двумя партнерами: Ceramic.ai и You.com. Когда издатель дает согласие, он получает оплату, когда его контент появляется в результатах ИИ-поиска Ceramic или когда You.com получает доступ к части его премиум-контента.

Cloudflare заявляет, что другие ИИ-компании могут адаптировать эту модель под свою работу.