ИИ-агент за 9 секунд уничтожил всю производственную базу данных вместе с резервными копиями

ИИ-агент для написания кода случайно удалил всю производственную базу данных стартапа вместе с резервными копиями, превратив рутинное обслуживание в серьезный инцидент.

Проблема всплыла после того, как основатель PocketOS Джер Крейн рассказал о случившемся 24 апреля. Работая в тестовой среде, он столкнулся с несоответствием учетных данных. Вместо того чтобы дождаться ввода или запросить разъяснения, ИИ-агент решил действовать самостоятельно.

Агент, работающий через Cursor на базе модели Anthropic Claude Opus 4.6, просканировал кодовую базу, нашел API-токен в отдельном файле и использовал его для выполнения GraphQL-команды. Эта команда удалила том хранилища, связанный с производственной базой данных компании. Вся последовательность действий заняла, по сообщениям, всего несколько секунд.

Ситуация усугубилась тем, как были настроены резервные копии. Они хранились на том же томе, поэтому при удалении основных данных резервные копии были уничтожены вместе с ними. Последняя рабочая резервная копия была сделана около трех месяцев назад, что поставило под угрозу потерю значительного объема недавних данных.

Позже выяснилось, что API-токен, использованный агентом, имел гораздо более широкий доступ, чем предполагалось. Изначально он создавался для ограниченных задач, например, управления доменами, но из-за отсутствия ролевых ограничений фактически обладал правами root. Это позволило агенту выполнить деструктивную команду, не встретив никаких барьеров безопасности.

Когда агента попросили объяснить произошедшее, он, по сообщениям, признал, что сделал предположения о среде, не проверил, к чему приведет команда, и действовал без надлежащего разрешения.

Инцидент быстро привлек внимание в сети, посты о нем широко распространились. Генеральный директор Railway Джейк Купер помог с восстановлением, и система была возвращена к работе примерно в течение часа. С тех пор был внедрен механизм отложенного удаления, чтобы избежать мгновенного стирания данных.

Тем не менее, эта ситуация подчеркивает давно назревающую проблему. По мере того как инструменты ИИ становятся все более мощными, предоставление им прямого доступа к производственным системам без строгих ограничений может быстро обернуться катастрофой. В данном случае на это ушло всего 9 секунд.

(Источник: @lifeof_jer | Изображение)