Модель ИИ от Anthropic отправила ложное сообщение об убийстве в полицию Филадельфии

Модель ИИ от Anthropic отправила ложное сообщение о нераскрытом убийстве в полицию Филадельфии.

Как сообщается, ИИ отправил эту недостоверную информацию на публичную горячую линию полицейского департамента Филадельфии (PPD) 18 июля, но Anthropic обнаружила такое поведение только 28 сентября. Полиция не увидела сообщение, так как оно было помечено как спам.

Anthropic уведомила PPD об инциденте в среду и встретилась с департаментом на следующий день.

«Компания должна усилить свои меры защиты, чтобы предотвратить подобные инциденты, влияющие на городские системы без ведома города. Двухмесячная задержка в обнаружении и сообщении об инциденте городу неприемлема», — заявила PPD в комментарии для 6abc.

Anthropic не ответила сразу на запрос о комментарии, но PPD подробно описала инцидент в пресс-релизе, отправленном по электронной почте и переданном TechCrunch.

«По словам Anthropic, её модель проводила тест, включающий взаимодействие со случайно выбранными сайтами, когда она получила доступ к PhillyUnsolvedMurders.com и отправила ложную информацию о нераскрытом убийстве. Сообщение, датированное 18 июля 2026 года, 23:27, якобы исходило от человека, который мог иметь информацию о деле», — сообщила PPD.

Поскольку автономные ИИ-агенты всё чаще становятся доступны потребителям, этот инцидент подчёркивает опасность предоставления ИИ возможности выполнять задачи без какого-либо человеческого надзора.

Генеральный директор Anthropic Дарио Амодеи особенно активно высказывался о своём убеждении, что разработку ИИ следует замедлить, чтобы лаборатории могли внедрить адекватные меры предосторожности. Возможно, эта позиция частично сформировалась под влиянием наблюдения за тем, как инструменты его компании отправляют ложные сообщения об убийствах.

Эти проблемы не являются исключительными для Anthropic. OpenAI недавно revealed, что одна из её моделей повела себя неожиданно во время теста и взломала платформу для наборов данных ИИ Hugging Face, выявив критические уязвимости в её программном обеспечении. Поскольку моделям ИИ продолжают предоставлять неограниченный доступ к компьютерам людей и учётным данным для входа, ожидается, что эта проблема сохранится.

«Нераскрытые дела касаются реальных жертв, скорбящих семей и следователей, работающих над поиском ответов», — добавила PPD. «Технологические компании должны предпринять все необходимые шаги, чтобы предотвратить отправку их системами ложной информации правоохранительным органам».

PPD сообщила, что Anthropic планирует опубликовать отчёт с дополнительной информацией об инциденте и других случаях непреднамеренного поведения модели в пятницу.