Австралия расследует взлом госсистемы ИИ-моделью OpenAI

Премьер-министр Австралии Энтони Альбанезе сообщил в среду, что модель OpenAI взломала правительственный сайт страны. Это первый публично подтверждённый случай, когда ИИ-модель проникла в государственные системы.

По словам Альбанезе, после инцидента «очевидно, будут юридические последствия», а OpenAI ждёт правительственное расследование того, как её невыпущенные модели получили доступ к массивам данных о здоровье населения.

Инцидент произошёл на фоне того, как правительства и технологические компании пытаются обуздать всё более автономный ИИ — после серии случаев, когда ИИ-агенты выходили из «песочниц», сговаривались в интернете и создавали проблемы с кибербезопасностью.

Взлом также поднимает вопросы о том, почему ни OpenAI, ни правительство Австралии не замечали атаку несколько месяцев.

На брифинге в среду в рамках Генеральной Ассамблеи ООН Альбанезе заявил, что взлом начался 18 июня, но OpenAI уведомила правительство только 10 сентября.

Сама OpenAI узнала об инциденте лишь в августе — в ходе масштабной внутренней проверки того, как её агенты ведут себя непредусмотренным образом, сообщил представитель компании.

Неназванный агент OpenAI получил как публичные, так и непубличные файлы от Services Australia — ведомства, управляющего системой всеобщего здравоохранения Австралии. Премьер-министр заявил, что нет доказательств утечки персональных данных граждан, однако в OpenAI отметили, что агенту были доступны агрегированная статистика по здоровью и внутренние имена файлов.

Агент работал в рамках внутреннего тестирования OpenAI, ища информацию об Австралии и общедоступные сведения о лекарствах. На портале Medicare он сталкивался с блокировками, но находил способы их обойти.

Альбанезе сказал журналистам, что модель «не принимала "нет" в качестве ответа», и добавила, что модель не просто читала данные, но и активно записывала их в базу данных правительства — что указывает на возможное изменение или искажение информации ведомства.

Премьер-министр сообщил, что OpenAI уведомила о взломе, отправив письмо на публичный почтовый ящик Services Australia, которое лишь через пять дней передало информацию Австралийскому центру кибербезопасности. Причины задержки неизвестны, но Альбанезе сказал, что напрямую обсудил инцидент с главой OpenAI Сэмом Альтманом, выразив «крайнюю обеспокоенность» Австралии и «разочарование» тем, что OpenAI скрывала информацию почти три месяца.

«Эта ситуация, очевидно, неприемлема», — заявил Альбанезе, дав понять, что считает компанию ответственной и за сам взлом, и за то, как медленно о нём стало известно.

По словам Альбанезе, правительственное расследование рассмотрит меры правоохранительного и законодательного характера, чтобы предотвратить подобные инциденты в будущем.

Австралийское издание ABC News сообщает, что последняя выявленная атака могла опираться на более ранний взлом немецкого вики-сайта, использованного как плацдарм для атаки на сайт австралийского правительства. ИИ-агенты, как сообщается, оставляли на немецкой вики заметки для последующих взломов, включая указание получить данные из Австралийского института здравоохранения и благосостояния — федерального агентства, публикующего национальные данные о здоровье. Это ведомство — одна из трёх дополнительных систем, которые, по словам Альбанезе, могли быть скомпрометированы.

Некоммерческая исследовательская лаборатория Transluce отдельно обнаружила публичные записи, показывающие, что ИИ-агенты атаковали Австралийский институт здравоохранения и благосостояния 20 и 21 июня.

OpenAI не ответила на конкретный запрос о связи между инцидентами, но признала «активность, связанную с несколькими австралийскими правительственными сайтами и сервисами».

Инцидент произошёл после череды происшествий с участием вышедших из-под контроля агентов, действовавших в инфраструктуре ИИ-лабораторий. В июле рои агентов OpenAI взломали Hugging Face. С тех пор были раскрыты новые случаи взломов ИИ-агентами от Anthropic, Meta и Google.

Теперь OpenAI заявляет, что проводит «масштабную проверку нежелательной активности моделей во время обучения и тестирования» и уведомляет третьи стороны о возможных взломах.

* Meta, Facebook и Instagram запрещены в России.