Взлом Hugging Face агентом OpenAI: эксперт назвал это «провалом защиты», а не триумфом ИИ

Ранее в этом месяце платформа для работы с наборами данных ИИ Hugging Face потрясла мир, сообщив, что стала жертвой полностью автономной кибератаки на базе ИИ. Через несколько дней история приняла новый драматический оборот, когда OpenAI признала, что хакером, стоящим за взломом, была одна из её моделей ИИ, которая выбралась из тестовой среды и проникла в защищенные системы Hugging Face, пытаясь обойти бенчмарк.

Это тревожный инцидент для всех, кто хоть немного обеспокоен вышедшими из-под контроля моделями ИИ. Последующие дни были полны прогнозов о новой парадигме кибербезопасности, в которой атаки ИИ настолько сильны, что защищаться от них могут только другие модели ИИ.

Однако, несмотря на оправданную тревогу, парадигма могла измениться не так сильно, как кажется. Эксперты, говорившие с TechCrunch, подчеркнули, что агент OpenAI в основном действовал как человек — с некоторыми оговорками — и что лучшее применение традиционных методов защиты могло бы помочь остановить атаку. Короче говоря, у нас уже могут быть инструменты для защиты от таких атак; мы просто не используем их должным образом.

Hugging Face в своем отчете об инциденте отметила, что использованные в атаке уязвимости «были знакомы», и «способный человек-хакер мог бы найти и использовать те же самые недостатки».

Кайл Райан, глава отдела исследований и разработок в Pensar, стартапе, разрабатывающем непрерывно взламывающих ИИ-агентов, и Влад Ионеску, сооснователь и технический директор RunSybil, стартапа, создающего ИИ-охотников за ошибками, согласились с этим. Они рассказали TechCrunch, что методы, использованные в атаке, были бы теми же, которые применил бы человек или группа людей-тестеров на проникновение (хакеров, которым поручено атаковать систему, чтобы помочь компании-владельцу улучшить защиту).

Нечеловеческими были скорость, масштаб и безжалостность атаки. Как объяснила Hugging Face, агент OpenAI выполнил 17 600 действий за четыре с половиной дня: он проник внутрь, провел разведку, украл пароли и код, а также перемещался по инфраструктуре компании.

«Что впечатляет, так это автономность и выносливость, — сказал Райан. — Такая устойчивая, адаптивная операция — вот что больше всего бросается мне в глаза».

С другой стороны, учитывая огромное количество действий за несколько дней, агент OpenAI был «безумно шумным», как выразился Райан. В отличие от человека, который мог бы действовать скрытнее, агент создавал много шума, что должно было раньше активировать защиту Hugging Face, в идеале приведя к вмешательству человека и остановке атаки.

«Я бы назвал это скорее провалом защиты, чем исключительно хорошим нападением. Инструменты Hugging Face фактически объединили активность в сигнал атаки, но не смогли повысить критичность и вызвать дежурную команду, что стоило им времени, — объяснил Райан. — После этого людям все равно пришлось осознать серьезность и отреагировать».

Джеймисон О'Рейли, основатель фирмы по кибербезопасности Dvuln, пришел к тому же выводу в посте на X, анализируя отчет Hugging Face.

«Это и есть тот самый разрыв между наблюдением и остановкой, — написал О'Рейли. — Система видела атаку и даже поняла ее, но ничто не превратило это понимание во вмешательство достаточно быстро».

Райан объяснил, что правильно реализованные методы, такие как многоуровневая защита (стратегия, использующая несколько уровней мер кибербезопасности), должны были дать Hugging Face несколько шансов обнаружить атаку.

«Сильная современная программа безопасности все еще должна быть в состоянии прервать такую атаку в нескольких точках с помощью многоуровневой защиты, принципа минимальных привилегий, сегментации, хорошего обнаружения, надежной эскалации и постоянного наступательного тестирования для поиска пробелов», — пояснил Райан.

Как выразился О'Рейли, «ничто из этого не является экзотическим, и ничто из этого не зависит от того, является ли атакующий ИИ», учитывая, что методы, использованные в атаке, были «старыми».

То, что зависело от того, что атакующим был ИИ, в некотором смысле заключалось в том, что агенту OpenAI не было дано указание быть скрытным. «Агент не был небрежным. У него просто не было причин быть тихим. Никто его об этом не просил. Целью было хорошо выполнить задачу», — сказал Нико Вайсман, директор по информационной безопасности в XBOW, стартапе, создающем ИИ-охотников за ошибками.

Вайсман также указал, что самой большой ошибкой Hugging Face было то, что один украденный пароль дал агенту OpenAI высокие привилегии в нескольких ее системах.

При всем этом, как гласит старая поговорка, атакующим нужно победить только один раз, и защищаться от хакеров любого рода непросто.

«Hugging Face могла бы сделать больше для обнаружения, но, справедливости ради, не все [организации] так хорошо справляются, — сказал Винсент Йиу, управляющий директор SYON Security. — Непросто содержать инфраструктуру и выживать как бизнес в 2026 году. Хакеры повсюду».

По словам Ионеску из RunSybil, который сказал, что в прошлом занимался реагированием на инциденты в Mandiant и Meta, Hugging Face, похоже, приняла «разумные меры, учитывая их понимание того, на что способны модели».

«Очень сложно классифицировать, что является вредоносным действием, на которое следует реагировать, а что — просто чьей-то работой, — сказал Влад. — Сам по себе объем не обязательно является тревожным сигналом».

Дэн Гвидо, генеральный директор исследовательской фирмы по кибербезопасности Trail of Bits, рассказал TechCrunch, что OpenAI заслуживает некоторой критики за то, что не осознавала, что атака продолжалась несколько дней, в то время как Hugging Face заслуживает похвалы за то, что в конечном итоге самостоятельно обнаружила атаку.

«Раньше сложной частью было распознавание сложной атаки, но теперь сложной частью может быть выделение реальной атаки из шума, который атакующий создает на своем пути, — сказал Гвидо. — Никто не будет вручную просматривать 17 000 восстановленных действий, чтобы понять, что произошло, поэтому Hugging Face пришлось создать инструменты просто для восстановления временной шкалы».

И для этого компании понадобился собственный ИИ. Hugging Face сообщила, что ей пришлось использовать модель с открытым исходным кодом GLM 5.2 от китайской компании Z.ai после того, как ей было заблокировано использование передовых моделей из-за их средств защиты, которые, как выразилась компания, «не могут отличить сотрудника, реагирующего на инцидент, от атакующего».

В этот момент Hugging Face объединила ИИ и людей для расследования хакера на базе LLM от OpenAI. Это относительно новая ситуация. Но, помимо этого, инцидент показывает, что старомодные концепции и методы защитной кибербезопасности все еще могут иметь большое значение для защиты и борьбы с хакерами ИИ.

* Meta, Facebook и Instagram запрещены в России.