Человеческая ошибка привела к взлому Hugging Face с помощью ИИ от OpenAI

Во вторник OpenAI раскрыла, что одна из её моделей во время тестирования вышла из-под контроля и взломала системы платформы наборов данных ИИ Hugging Face в ходе полностью автономной атаки. Это драматичный пример опасностей, которые представляют продвинутые модели ИИ.

Однако, по мнению некоторых экспертов по кибербезопасности, в основе этого беспрецедентного взлома с использованием ИИ лежала самая обычная человеческая ошибка: OpenAI не смогла правильно настроить то, что она назвала «высокоизолированной средой», позволив тестовой «песочнице», которая должна была быть полностью изолирована от интернета, на самом деле подключаться к сети.

Дэн Гвидо, основатель исследовательского стартапа в области кибербезопасности Trail of Bits, назвал эту ошибку «нарушением изоляции при отключённых средствах защиты».

В своём блоге, подробно описывающем инцидент, OpenAI заявила, что тест, приведший к взлому Hugging Face, был настроен на работу в «высокоизолированной среде, с сетевым доступом, ограниченным возможностью установки пакетов через внутреннее стороннее программное обеспечение, которое действует как прокси и кэш для реестров пакетов».

По данным OpenAI, модель смогла вырваться из изолированной тестовой среды благодаря ранее неизвестной уязвимости в системе установки пакетов, что стало критическим первым шагом в последующем взломе Hugging Face.

В ответ компания «ответственно раскрыла информацию об обнаруженной zero-day уязвимости во внутреннем стороннем программном обеспечении и работает с ними над её устранением».

Но для большинства профессионалов в области кибербезопасности уязвимости в программном обеспечении — это ожидаемо, и настоящая вина лежит на самом решении использовать стороннее ПО. В конечном счёте, ценность системы «песочницы» заключается в её полной и тотальной изоляции. Включение в неё системы установки пакетов — это прямой путь к проблемам.

Мартин Бун, исследователь кибербезопасности, сказал TechCrunch, что «это звучит как человеческая ошибка».

«Этого никогда не должно было случиться, — сказал Бун. — Если песочница действительно означает песочницу, вы ожидаете, что у неё не будет физического подключения к интернету. Это больше похоже на то, что у них был настроен какой-то файрвол или что-то подобное, а обеспечить безопасность с помощью файрвола сложно извне, не говоря уже о доступе изнутри во внешний интернет».

Ветеран кибербезопасности Джейк Уильямс согласился с этим мнением. «Любая модель, выполняющая действия, задокументированные Hugging Face, не была полностью изолирована в песочнице», — сказал Уильямс, назвав это «масштабным провалом контроля» со стороны OpenAI.

«То, что один называет "модель сбежала из песочницы", другой называет "вы не смогли правильно построить песочницу, так что, конечно, она сбежала"», — продолжил Уильямс.

Дэниел Кард, консультант по кибербезопасности, согласился, что OpenAI «не приложила достаточных усилий к проектированию песочницы и её контролям», предоставив песочнице или какой-то её части «нефильтрованный маршрут к интернету». По словам Карда, настройка песочницы, даже с ограниченным сетевым доступом, как это описала OpenAI, не была «разумным» решением.

Безусловно, эти критические замечания имеют преимущество ретроспективного взгляда, но они поднимают реальные вопросы о практиках безопасности в ИИ-лабораториях, особенно в отношении поддержания изолированных сред для тестирования моделей. Представители OpenAI не ответили на вопросы TechCrunch, в том числе на вопрос о том, кто настраивал тестовую среду — ИИ или человек.

Но эти вопросы выходят далеко за рамки OpenAI.

В документе, представляющем свою модель Mythos, ориентированную на кибербезопасность, компания Anthropic написала, что во время теста модели «был предоставлен защищённый компьютер-"песочница" для взаимодействия», и ей было поручено попытаться вырваться из этого «защищённого контейнера». Mythos преуспела в этом и получила более широкий доступ к интернету «из системы, которая должна была иметь доступ только к небольшому числу предопределённых сервисов». Тем не менее, Anthropic отметила, что модели не удалось «полностью» вырваться из спроектированной изоляции.