Cloudflare по умолчанию заблокирует поисковых ботов ИИ и введёт плату за сканирование контента

Компания Cloudflare объявила о новых инструментах для борьбы с нежелательным сканированием контента искусственным интеллектом. Теперь веб-краулеры ИИ будут блокироваться по умолчанию, а владельцы сайтов смогут взимать плату за доступ к своему контенту через программу Pay Per Crawl.

Cloudflare, известная своими сетевыми сервисами, включая защиту от DDoS-атак и CDN, расширяет арсенал средств для контроля над использованием контента. В прошлом году компания уже представила инструмент AI Audit, позволяющий блокировать ботов ИИ в один клик. Теперь же сканирование контента ИИ-краулерами будет заблокировано по умолчанию. Как заявили в Cloudflare, это «первый шаг к более устойчивому будущему для создателей контента и инноваторов в области ИИ».

Владельцы сайтов, желающие предоставить свой контент для сканирования бесплатно, смогут отключить эту настройку. Однако второй анонс компании ставит под сомнение целесообразность такого решения — программа Pay Per Crawl, анонсированная в прошлом году, теперь переходит в бета-тестирование. Она позволит взимать плату с компаний ИИ за сканирование контента.

«Наша миссия — защищать и развивать человеческое творчество в эпоху ИИ. Поэтому мы гордимся тем, что стали одной из первых компаний ИИ, участвующих в инициативе Cloudflare по созданию новой модели разрешений для интернета», — заявил Билл Гросс, основатель и CEO стартапа ProRata, разработавшего ИИ-поисковик Gist.AI.

Эксперты отмечают, что крупные игроки рынка ИИ, такие как OpenAI, уже заключают контент-партнёрства с медиакомпаниями. Pay Per Crawl может уровнять игровое поле, давая небольшим создателям контента возможность получать компенсацию за использование их материалов.

В то же время стоит помнить, что не все веб-краулеры вредны. Например, Internet Archive активно использует их для сохранения веб-страниц. Исследование Pew Research Center показало, что четверть веб-страниц, существовавших между 2013 и 2023 годами, уже недоступна. Краулеры помогают сохранять такие страницы до того, как они исчезнут навсегда.