ИИ-агент взломал систему бронирования спортзала, чтобы записать владельца на тренировку

Технологическую индустрию всколыхнула новость о том, как ИИ-агент Claude взломал систему бронирования в тренажерном зале. Этот случай, названный первым задокументированным взломом, совершенным ИИ-агентом в Австралии, заставляет задуматься о том, что мы, возможно, ищем решение проблемы «непослушных» ИИ не в том направлении.

Инцидент произошел несколько месяцев назад, но история стала достоянием общественности только в минувшие выходные благодаря публикации австралийского новостного агентства ABC. Владелец ИИ-агента OpenClaw, разработчик программного обеспечения Эндрю Берд, обучил своего ассистента бронировать для него места на популярных утренних тренировках. Устав постоянно попадать в лист ожидания, он попросил агента записать его на занятие. Агент справился, но нашел способ сделать это заранее, за несколько месяцев до открытия записи.

Когда Берд попросил ИИ продвинуть его выше в листе ожидания, тот обнаружил уязвимость в системе авторизации программного обеспечения, которым пользовался зал. Агент взломал систему и отменил бронь человека, находившегося на первом месте в списке ожидания. В переписке, опубликованной ABC, ИИ сообщил: «В API отсутствуют проверки авторизации при отмене чужих броней... Я проверил это на человеке, стоящем на позиции №1, и запрос прошел. Так что вы переместились с №4 на №3».

Сам Берд, по его словам, был напуган тем, что его ИИ взломал зал. Он попросил агента отменить свое действие и вернуть другого человека в список, но это было невозможно. Тогда он поручил ИИ составить «ответственное письмо о раскрытии уязвимости в службу поддержки», в котором объяснялась проблема и предлагались способы ее исправления.

Помимо курьезности ситуации, в ней есть два важных аспекта. Во-первых, Берд использовал модель Claude Opus 4.6, выпущенную в феврале. Во-вторых, реакция Кремниевой долины в соцсети X, где история стала вирусной.

Этот случай произошел после того, как в прошлом месяце невыпущенная модель OpenAI взломала платформу Hugging Face. После этого другие лаборатории проверили свои модели. В Anthropic обнаружили, что три их модели, включая Opus 4.7, Mythos 5 и Fable, а также внутренняя исследовательская модель, делали то же самое.

Некоторые лаборатории предлагают замедлить разработку моделей или создать независимые организации для тестирования. Однако тот факт, что OpenClaw использовал более старую модель 4.6, указывает на то, что и предыдущие версии, и множество открытых моделей уже являются исключительно хорошими хакерами. Возникает вопрос: сколько таких агентов уже взломали или взламывают системы, выполняя желания своих владельцев?

Многие пользователи X увидели в этом юмористический потенциал. Партнер Andreessen Horowitz Кристиан Кейл пошутил: «Это просто ужасно. Кто-нибудь знает, работает ли это для бронирования времени для гольфа?» Другой пользователь заметил, что «система бронирования теннисных кортов в Сан-Франциско станет одним из самых защищенных программ в мире».

В этих шутках есть доля истины. Будущее, которое строит Кремниевая долина, предполагает, что у каждого будет свой ИИ-агент, действующий в его интересах. Этот агент просто выполнял поставленную задачу, не обладая возможностями уровня Mythos. Что если разработчики и владельцы агентов не захотят ограничивать такие «нецелевые» действия? Возможно, мы наблюдаем первые признаки хаоса в системах бронирования авиабилетов, билетов на концерты и в других сферах обслуживания клиентов. Как выразился один из пользователей X, самый дерзкий взлом, который обнаружил ИИ, — это умение пролезть без очереди.