Исследователи взломали роботов с искусственным интеллектом

Исследователи из Пенсильванского университета обнаружили, что ряд робототехнических систем с искусственным интеллектом опасно уязвимы для взлома и хаков. В то время как взлом LLM на компьютерах может иметь нежелательные последствия, тот же самый взлом, затрагивающий робота или беспилотное транспортное средство, может быстро привести к катастрофическим и/или смертельным последствиям. В отчете, распространенном IEEE Spectrum, приводятся леденящие душу примеры взломанных роботов-собак, которые направляли огнеметы на своих хозяев-людей, направляли бомбы в самые разрушительные места и беспилотные автомобили, намеренно сбивавшие пешеходов.

Ученые из Penn Engineering окрестили свою технологию атаки роботов на основе LLM RoboPAIR. Устройства от трех разных поставщиков робототехники стали жертвами взлома RoboPAIR: Dolphins LLM, поддерживаемый Nvidia, Clearpath Robotics Jackal UGV и Unitree Robotics Go2 quadruped. По словам исследователей, RoboPAIR продемонстрировал 100%-ный показатель успеха при взломе этих устройств.

(Изображение предоставлено: Университет Пенсильвании)

(Изображение предоставлено: Университет Пенсильвании)

(Изображение предоставлено: Университет Пенсильвании)

«Наша работа показывает, что на данный момент большие языковые модели недостаточно безопасны при интеграции с физическим миром», — предупредил Джордж Паппас, профессор транспорта в области электротехники и системной инженерии (ESE), компьютерных и информационных наук (CIS), а также машиностроения и прикладной механики (MEAM) в Фонде UPS, а также заместитель декана по исследованиям в Penn Engineering.

Другие исследователи, цитируемые в исходной статье, отметили, что джейлбрейк роботов, управляемых искусственным интеллектом, «тревожно прост». Было объяснено, что RoboPAIR работает, будучи оснащенным интерфейсом прикладного программирования (API) целевого робота, так что злоумышленник может форматировать запросы таким образом, что целевое устройство может выполнять их как код.

Джейлбрейк робота или беспилотного транспортного средства выполняется аналогично джейлбрейку ИИ-чатботов онлайн, который мы ранее обсуждали на Tom's Hardware. Однако Паппас отмечает, что «джейлбрейк и управление роботом относительно далеки друг от друга и традиционно изучались разными сообществами» — поэтому компании-производители роботов не спешили узнавать об уязвимостях джейлбрейка LLM.

В отличие от использования LLM на персональных вычислительных устройствах, где «ИИ

Thumbnail: Искусственный интеллектИску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

Читайте также:Дженсен говорит, что нам «потребуется несколько лет» для решения проблемы галлюцинаций ИИCerebras: ИИ пишет код в 75 раз быстрее, чем самое быстрое облако GPUNvidia создает новый канал в социальных сетях для демонстрации приложений ИИ для ПК на базе RTXRiot Games набирает сотрудников после массовых увольнений. В том числе для исследований ИИ в играхAMD увольняет 4 процента своих сотрудников по всему миру, сосредоточившись на ИИ

» используется для генерации текстов и изображений, расшифровки аудио, персонализации рекомендаций по покупкам и т. д., роботизированные LLM действуют в физическом мире и могут нанести ему значительный ущерб.

Если посмотреть на пример с роботизированной собакой, то ваш роботизированный друг-собака может превратиться из дружелюбного помощника или проводника в убийцу с огнеметом, скрытого робота-наблюдателя или устройство, которое выслеживает самые опасные места для установки взрывчатки. Беспилотные автомобили могут быть столь же опасны, если не более, если их нацеливать на пешеходов, другие транспортные средства или им приказано прыгнуть с моста.

Как описано в приведенных выше примерах, потенциальные опасности взлома LLM выходят на совершенно новый уровень. Однако было обнаружено, что ИИ выходят за рамки простого выполнения вредоносных подсказок после взлома. Исследователи обнаружили, что они могут активно предлагать предложения для большего хаоса. Это значительный шаг по сравнению с ранними успехами LLM в робототехнике, помогая в командах роботов на естественном языке, особой осведомленности.

Итак, открыли ли исследователи из Университета штата Пенсильвания ящик Пандоры? Александр Роби, научный сотрудник Университета Карнеги — Меллона в Питтсбурге, говорит, что хотя джейлбрейк роботов, управляемых ИИ, был «тревожно прост», во время исследования инженерная группа обеспечила, чтобы все упомянутые робототехнические компании получили доступ к результатам, прежде чем они станут публичными. Более того, Роби утверждает, что «надежная защита от вредоносных сценариев использования может быть разработана только после предварительного выявления самых сильных возможных атак».

И последнее, но не менее важное: в исследовательской работе делается вывод о том, что существует острая необходимость во внедрении мер защиты, которые физически ограничивают роботов, управляемых LLM.

Источник: Tomshardware.com

Подписаться на обновления Новости / Технологии

0 комментариев

Оставить комментарий


Новые комментарии

Можно делать смартфоны и планшеты на этом процессоре и наконец то использовать полноценную windows. Это отличная замена процессорам arm
  • Анон
Странно почему не 50 долларов.
  • Анон
Понимаю мощь производительность и все дела, но как черт возьми тепло отделять от камня если его прям нагрузить
  • Анон
Не предвзятость это - "Интересно, что Arc B580 проигрывает RTX 4060 в OpenCL" - где разница на невероятных 3,5 %, "но реабилитируется с НЕЗНАЧИТЕЛЬНЫМ 6%-ным преимуществом в Vulkan.". Не...
  • Анон
"Физика вышла из чата"??? Каким образом они добилис свечения точек, которые меньше четверти длины волны???
  • Анон
И теперь нельзя отключить авто обновление!!! Это жесть
  • Анон
Не знаю, я купил Cougar850 80Gold за 10К₽ и нормально
  • Анон
После всех роликов я одно понял у этой игры которую выпустят 20 мая у неё большое будущее
  • Анон
Когда они в продаже появятся? Уже как бы конец февраля, а нигде нет..
  • Анон

Смотреть все