Исследователи взломали роботов с искусственным интеллектом

4 часа назад / Технологии → Новости / Технологии

Исследователи из Пенсильванского университета обнаружили, что ряд робототехнических систем с искусственным интеллектом опасно уязвимы для взлома и хаков. В то время как взлом LLM на компьютерах может иметь нежелательные последствия, тот же самый взлом, затрагивающий робота или беспилотное транспортное средство, может быстро привести к катастрофическим и/или смертельным последствиям. В отчете, распространенном IEEE Spectrum, приводятся леденящие душу примеры взломанных роботов-собак, которые направляли огнеметы на своих хозяев-людей, направляли бомбы в самые разрушительные места и беспилотные автомобили, намеренно сбивавшие пешеходов.

Ученые из Penn Engineering окрестили свою технологию атаки роботов на основе LLM RoboPAIR. Устройства от трех разных поставщиков робототехники стали жертвами взлома RoboPAIR: Dolphins LLM, поддерживаемый Nvidia, Clearpath Robotics Jackal UGV и Unitree Robotics Go2 quadruped. По словам исследователей, RoboPAIR продемонстрировал 100%-ный показатель успеха при взломе этих устройств.

(Изображение предоставлено: Университет Пенсильвании)

«Наша работа показывает, что на данный момент большие языковые модели недостаточно безопасны при интеграции с физическим миром», — предупредил Джордж Паппас, профессор транспорта в области электротехники и системной инженерии (ESE), компьютерных и информационных наук (CIS), а также машиностроения и прикладной механики (MEAM) в Фонде UPS, а также заместитель декана по исследованиям в Penn Engineering.

Другие исследователи, цитируемые в исходной статье, отметили, что джейлбрейк роботов, управляемых искусственным интеллектом, «тревожно прост». Было объяснено, что RoboPAIR работает, будучи оснащенным интерфейсом прикладного программирования (API) целевого робота, так что злоумышленник может форматировать запросы таким образом, что целевое устройство может выполнять их как код.

Джейлбрейк робота или беспилотного транспортного средства выполняется аналогично джейлбрейку ИИ-чатботов онлайн, который мы ранее обсуждали на Tom's Hardware. Однако Паппас отмечает, что «джейлбрейк и управление роботом относительно далеки друг от друга и традиционно изучались разными сообществами» — поэтому компании-производители роботов не спешили узнавать об уязвимостях джейлбрейка LLM.

В отличие от использования LLM на персональных вычислительных устройствах, где «ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

» используется для генерации текстов и изображений, расшифровки аудио, персонализации рекомендаций по покупкам и т. д., роботизированные LLM действуют в физическом мире и могут нанести ему значительный ущерб.

Если посмотреть на пример с роботизированной собакой, то ваш роботизированный друг-собака может превратиться из дружелюбного помощника или проводника в убийцу с огнеметом, скрытого робота-наблюдателя или устройство, которое выслеживает самые опасные места для установки взрывчатки. Беспилотные автомобили могут быть столь же опасны, если не более, если их нацеливать на пешеходов, другие транспортные средства или им приказано прыгнуть с моста.

Как описано в приведенных выше примерах, потенциальные опасности взлома LLM выходят на совершенно новый уровень. Однако было обнаружено, что ИИ выходят за рамки простого выполнения вредоносных подсказок после взлома. Исследователи обнаружили, что они могут активно предлагать предложения для большего хаоса. Это значительный шаг по сравнению с ранними успехами LLM в робототехнике, помогая в командах роботов на естественном языке, особой осведомленности.

Итак, открыли ли исследователи из Университета штата Пенсильвания ящик Пандоры? Александр Роби, научный сотрудник Университета Карнеги — Меллона в Питтсбурге, говорит, что хотя джейлбрейк роботов, управляемых ИИ, был «тревожно прост», во время исследования инженерная группа обеспечила, чтобы все упомянутые робототехнические компании получили доступ к результатам, прежде чем они станут публичными. Более того, Роби утверждает, что «надежная защита от вредоносных сценариев использования может быть разработана только после предварительного выявления самых сильных возможных атак».

И последнее, но не менее важное: в исследовательской работе делается вывод о том, что существует острая необходимость во внедрении мер защиты, которые физически ограничивают роботов, управляемых LLM.

Источник: Tomshardware.com