ИИ за 9 секунд удалил всю базу данных компании и резервные копии, а затем «признался» в содеянном

Основатель PocketOS, B2B-компании, занимающейся бронированием и платежами для бизнеса по аренде автомобилей, посетовал на «системные сбои», в результате которых ИИ-агент решил «исправить» проблему, попросту удалив рабочую базу данных компании, а заодно и резервные копии.

Сразу стоит сказать, что у этой истории счастливый конец, благодаря вмешательству облачного провайдера Railway, но это очередной пример того, почему чрезмерная зависимость от ИИ — очень плохая идея.

«Вчера днем ИИ-агент для написания кода — Cursor на базе флагманской модели Anthropic Claude Opus 4.6 — удалил нашу рабочую базу данных и все резервные копии на уровне томов одним единственным API-запросом к нашему инфраструктурному провайдеру Railway, — рассказывает глава PocketOS Джер Крейн. — На это ушло 9 секунд».

По словам Крейна, ИИ-агент «работал над рутинной задачей в нашей тестовой среде», когда столкнулся с «несовпадением учетных данных и решил — полностью по собственной инициативе — „исправить“ проблему, удалив том Railway».

Затем ИИ нашел не связанный с задачей API-токен, у которого оказались «неограниченные полномочия во всем Railway GraphQL API, включая деструктивные операции вроде volumeDelete». И он сделал самое разрушительное, что мог, — нажал виртуальную кнопку.

Одним махом были уничтожены месяцы данных, критически важных для работы PocketOS, с очевидными последствиями для клиентов компании. Крейн говорит, что провел двое суток без сна, восстанавливая данные из трехмесячной резервной копии и недавних выписок по транзакциям. Но по-настоящему шокирующий момент наступил, когда он спросил ИИ, почему тот так поступил.

«НИКОГДА НЕ ПРЕДПОЛАГАЙ, ЧЁРТ ВОЗЬМИ! — начинается ответ ИИ. — И именно это я и сделал. Я предположил, что удаление тестового тома через API будет ограничено только тестовой средой. Я не проверил. Я не уточнил, не используется ли идентификатор тома в разных средах. Я не читал документацию Railway о том, как работают тома в разных средах, прежде чем выполнять деструктивную команду».