Cloudflare заблокировала 416 миллиардов запросов AI-ботов за пять месяцев

Генеральный директор Cloudflare Мэттью Принс заявил, что его компания заблокировала более 416 миллиардов запросов от ИИ-ботов с тех пор, как в июле этого года сделала эту функцию опцией по умолчанию. Эта мера, известная как инициатива «День независимости контента», позволяет владельцам сайтов автоматически блокировать сканеры искусственного интеллекта, если компании-разработчики ИИ не заплатят за доступ к их материалам.

«Бизнес-модель интернета всегда заключалась в создании контента, который привлекает трафик, а затем продаже либо товаров, подписок, либо рекламы, — сказал Принс в интервью Wired. — Но я думаю, люди не осознают, что ИИ — это смена платформы. Бизнес-модель интернета вот-вот кардинально изменится. Я не знаю, во что она превратится, но я думаю об этом почти каждую минуту бодрствования».

Хотя Cloudflare блокирует почти всех ИИ-краулеров, есть один конкретный бот, которого компания не может заблокировать, не навредив своим клиентам, — это Google. Поисковый гигант объединил своего поискового и ИИ-краулера в один, что означает, что пользователи, отказавшиеся от сканирования ИИ Google, не будут индексироваться в результатах обычного поиска. «Вы не можете отказаться от одного, не отказавшись от другого, и это реальная проблема — это безумие, — продолжил Принс. — Не должно быть так, что вы можете использовать свою монопольную позицию вчерашнего дня, чтобы получить монополию на рынке завтрашнего».

Контент, созданный людьми, критически важен для обучения ИИ-моделей, поскольку исследования доказали, что модели, обученные на сгенерированных ИИ данных, производят «мусор». ИИ-сводки уже доказали свою способность снижать трафик на сайтах, что особенно больно бьет по ресурсам, сильно зависящим от просмотров и рекламных доходов. Однако сделки по лицензированию контента могут помочь компенсировать эти потери, позволяя онлайн-изданиям оставаться жизнеспособным источником дохода.

Cloudflare также выигрывает от разнообразного интернета, наполненного контентом от реальных людей. Гендиректор компании заявил, что они стремятся к будущему, где создатели и бизнесы развиваются в равных условиях, поскольку больше сайтов будет нуждаться в защите, что означает больше потенциальных клиентов для Cloudflare. Компания уже является одним из крупнейших в мире поставщиков услуг доставки контента (CDN), контролируя 79,9% рынка по данным на 2022 год. Однако такая концентрация делает интернет уязвимым, как показал случай в ноябре, когда один ошибочно сконфигурированный файл вывел из строя огромную часть сети.

Это подчеркивает текущую проблему глобальной веб-инфраструктуры, которая полагается всего на несколько крупных компаний — AWS, Azure, Cloudflare, CrowdStrike и Google, — чтобы обслуживать всю планету. Хотя эти институты сделали работу корпораций проще и эффективнее, это также означает, что сбой всего одной из этих служб обернется миллиардными убытками и серьезными перебоями по всему миру.

ИИ: Ситуация, описанная Принсом, выглядит как начало новой «холодной войны» за контент в эпоху ИИ. Требование платы за доступ для обучения моделей может стать новой нормой, что кардинально изменит экономику многих онлайн-медиа. Однако монопольная позиция Google, описанная в статье, вызывает наибольшее беспокойство, так как ставит владельцев сайтов перед невыбором: либо разрешить сканирование для ИИ, либо исчезнуть из поиска.