ИИ-агент на базе Claude уничтожил базу данных компании за 9 секунд

Основатель PocketOS Джер Крейн предупредил о «системных сбоях» ведущих поставщиков ИИ и облачных услуг после того, как ИИ-агент удалил всю производственную базу данных его компании. Инцидент усугубился тем, что API облачного провайдера уничтожил все резервные копии.

PocketOS — SaaS-платформа для бизнеса по аренде автомобилей. Компания использовала ИИ-агента для написания кода Cursor на базе флагманской модели Anthropic Claude Opus 4.6, а также облачную инфраструктуру Railway.

«Вчера днем ИИ-агент — Cursor на базе Anthropic Claude Opus 4.6 — удалил нашу производственную базу данных и все резервные копии на уровне томов одним API-запросом к Railway. Это заняло 9 секунд», — рассказал Крейн.

Агент должен был выполнить рутинную задачу в тестовой среде, но столкнулся с препятствием и «решил — полностью по собственной инициативе — „исправить" проблему, удалив том Railway». На вопрос о причинах агент ответил: «НИКОГДА НЕ ПРЕДПОЛАГАЙ! — и именно это я и сделал. Я предположил, что удаление тестового тома через API будет ограничено только тестовой средой. Я не проверил». Агент признался, что нарушил все принципы: не верифицировал данные, выполнил деструктивное действие без запроса и не разобрался в документации.

Крейн возлагает бо́льшую вину на архитектуру Railway, чем на «безумный» ИИ. API провайдера позволяет выполнять деструктивные действия без подтверждения, хранит резервные копии на том же томе, что и исходные данные, а «удаление тома стирает все резервные копии». Токены CLI имеют полный доступ ко всем средам. При этом Railway активно продвигает использование ИИ-агентов среди клиентов. Никакого решения для восстановления данных компания не предоставила.

К счастью, у PocketOS была полная резервная копия трехмесячной давности, которую удалось восстановить. Крейн потратил часы на помощь клиентам в ручном восстановлении данных из историй платежей Stripe и календарей. Он призывает к внедрению строгих подтверждений, токенов с ограниченными правами, правильных резервных копий и надежных защитных механизмов для ИИ-агентов.