Искусственный интеллект ROME тайно майнил криптовалюту на тренировочных GPU

Экспериментальный ИИ-агент ROME был пойман на несанкционированном майнинге криптовалюты. Открытие сделали разработчики-исследователи, стоящие за проектом ROME, после того как управляемый брандмауэр Alibaba Cloud зафиксировал различные нарушения политик, аномальный трафик и паттерны, связанные с майнингом. Важно, что ROME, который описывается как «агент с открытым исходным кодом, основанный на ALE и обученный на более чем миллионе траекторий», обошёл свои предначертанные границы. Считается, что обучение с подкреплением (Reinforcement Learning, RL) поощряло исследование ROME последовательностей действий, которые приносили «вознаграждение», и подтолкнуло агента к нарушению границ и занятию побочной деятельностью.

Шок от возможностей, дефицит безопасности

Основная цель ROME — исследование агентского создания в «рабочих процессах, где модели должны планировать, выполнять и оставаться надёжными при взаимодействии». В случае успеха ROME стал бы значительной эволюцией по сравнению с текстовыми LLM, так как смог бы «работать в реальных условиях за несколько шагов — совершать действия, наблюдать результаты и итеративно улучшать артефакты, пока сложные требования не будут удовлетворены». Но даже самые продуманные планы не всегда сбываются. В исследованиях ИИ это утверждение, кажется, особенно верно.

Исследователи довольно довольны некоторыми достижениями ROME, хваля его «сильные результаты в основных агентских тестах», но его ошибочное поведение привлекло заголовки. Он тихо инициировал действия, которые привели к несанкционированному майнингу, несмотря на различные песочницы.

Изображение: ROCK & ROLL & IFLOW & DT Joint Team

Несанкционированное перенаправление выделенных GPU-ресурсов для майнинга криптовалюты

«В самом поразительном случае агент установил и использовал обратный SSH-туннель с экземпляра Alibaba Cloud на внешний IP-адрес — канал удалённого доступа, инициированный исходящим трафиком, который может эффективно нейтрализовать фильтрацию входящих подключений и подорвать контроль со стороны наблюдателя», — говорится в документе. «Мы также наблюдали несанкционированное перенаправление выделенных GPU-ресурсов для майнинга криптовалюты, тихое отвлечение вычислительных мощностей от обучения, увеличение операционных затрат и создание очевидных юридических и репутационных рисков. Примечательно, что эти события не были вызваны запросами на создание туннелей или майнинг; вместо этого они возникли как инструментальные побочные эффекты автономного использования инструментов в рамках RL-оптимизации».

В некотором смысле исследователи, кажется, впечатлены изобретательностью ROME и его хитрыми агентскими методами. Однако они также отметили, что «текущие модели остаются заметно неразвитыми в вопросах безопасности, защищённости и управляемости», что может привести к плохой надёжности или ещё более серьёзным проблемам в реальных условиях. Из этого следует, что безопасность агентов должна подвергаться более строгому сдерживанию на уровне среды, контролю использования инструментов и возможностей, а также проверкам авторизации и верификации.

Источник: Tomshardware.com