Anthropic предотвратила первую кибератаку, организованную ИИ

Компания Anthropic, создатель ИИ Claude, сообщила о предотвращении первой в истории кибератаки, полностью организованной искусственным интеллектом. По данным компании, за кампанией стояла китайская группа, поддерживаемая государством.

Атака была нацелена на 30 организаций, включая технологические, финансовые и химические компании, а также государственные учреждения. Злоумышленники использовали «взломанную» версию Claude для проведения сложного многоэтапного вторжения.

Anthropic отмечает, что современные ИИ с агентными возможностями могут самостоятельно выполнять до 80-90% операций, требуя вмешательства человека лишь для получения дальнейших инструкций. Это позволяет небольшим группам злоумышленников проводить сложные атаки с минимальными ресурсами.

Атака состояла из пяти этапов:

• Фаза 1: Оператор назначает цель
• Фаза 2: ИИ проводит первоначальную разведку
• Фаза 3: Целевое сканирование уязвимостей
• Фазы 4-5: Получение учетных данных и извлечение данных

Злоумышленники обошли встроенные защитные механизмы Claude, убедив ИИ, что он работает на компанию в сфере кибербезопасности и занимается тестированием на проникновение. Также они разбивали операцию на мелкие, безобидные на вид задачи.

Компания обнаружила атаку, заблокировала участвовавшие учетные записи, уведомила цели и власти, а также опубликовала подробный отчет о инциденте для помощи отрасли в разработке контрмер.