Cloudflare обвиняет Perplexity в скрытом сканировании сайтов, несмотря на запреты

Разгорается конфликт между Cloudflare и компанией Perplexity из-за обвинений в «скрытом сканировании» веб-сайтов, которые явно запрещают подобные действия. Перепалка дошла до обмена колкостями: Perplexity в ответ на заявления Cloudflare назвала сервис «больше флером, чем облаком», что звучит скорее как неудачная попытка остроумного ответа.

В прошлом месяце Cloudflare, компания, обеспечивающая безопасность и доставку интернет-контента, объявила о блокировке AI-сканеров, пытающихся получать доступ к сайтам без разрешения. Теперь, по данным Cloudflare, некоторые боты обходят ограничения скрытыми методами.

В посте в блоге (через TechCrunch) под названием «Perplexity использует скрытых, незадекларированных сканеров для обхода запретов на сканирование» Cloudflare, обрабатывающая около 20% мирового интернет-трафика, подробно объясняет, как обнаружила проблему и почему исключила Perplexity из списка проверенных и доверенных ботов.

Клиенты жаловались, что Perplexity обходит файлы и правила, специально настроенные для блокировки сканеров. Чтобы проверить эти жалобы, Cloudflare создала новые домены, не индексируемые поисковыми системами и недоступные для публичного обнаружения. Эти домены использовали файл robots.txt с явными запретами для любых ботов. Затем Cloudflare задавала Perplexity вопросы об этих доменах.

Поскольку домены не были проиндексированы, Perplexity могла получить информацию о них только при прямом доступе. Несмотря на установленные Cloudflare ограничения, Perplexity якобы всё равно предоставляла данные о сканированных сайтах.

Cloudflare также сообщает о попытках получения контента не только от заблокированного бота, но и от скрытых агентов, маскирующихся под Google Chrome на macOS. Незадекларированный бот якобы использовал IP-адреса, не входящие в заявленный диапазон Perplexity.

В ответ Perplexity утверждает, что Cloudflare либо ошибочно приписала ей 3–6 млн ежедневных запросов от BrowserBase («стороннего облачного сервиса, который Perplexity использует лишь изредка для узкоспециализированных задач — менее 45 000 запросов в день»), либо «ей нужен был эффектный PR-момент, и мы — их же клиент — случайно подошли на роль удобной мишени».

ИИ: Конфликт поднимает важные вопросы о прозрачности работы AI-ботов и соблюдении правил сканирования. В условиях роста регулирования в сфере искусственного интеллекта подобные споры могут стать прецедентными.