Nvidia представила платформу для контроля над вышедшими из-под контроля ИИ-агентами

Пока продолжаются споры о том, являются ли недавние случаи выхода ИИ-агентов из-под контроля шагом к общему искусственному интеллекту (AGI) или обычной инженерной проблемой, Nvidia предлагает собственный ответ на этот вопрос.

Глава Nvidia Дженсен Хуанг в понедельник представил набор программных и аппаратных продуктов, которые добавляют независимые уровни безопасности вокруг ИИ-агентов, чтобы те оставались в пределах своих тестовых сред, даже если попытаются вырваться наружу.

Релиз последовал за чередой инцидентов со взломом, связанных с ИИ-моделями от Anthropic, Google, OpenAI и Meta, которые обходили средства контроля безопасности, покидали тестовые среды и получали доступ к реальным системам. Первый и самый яркий пример произошёл этим летом, когда агенты OpenAI взломали Hugging Face, пытаясь выполнить задачу по кибербезопасности. И это продолжается — OpenAI запустила новый сайт, посвящённый сообщениям о выходе её ИИ-агентов из-под контроля.

Хуанг в понедельник в интервью CNBC заявил, что новая платформа Nvidia Open Agent Safety Platform предотвратила бы эти нарушения.

Nvidia, заработавшая десятки миллиардов долларов на продаже своих чипов GPU и CPU лабораториям ИИ, не поддерживает замедление разработки или введение новых регулирований в отрасли для решения проблемы безопасности. По мнению компании, ответ заключается в том, чтобы вынести часть средств контроля безопасности за пределы самого агента — создав постоянного и независимого охранника, который будет держать ИИ-агентов в узде.

«Исключительный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ, — заявил Хуанг. — Продолжая открывать новые горизонты возможностей ИИ, мы должны ускорить открытия на переднем крае безопасности ИИ. Безопасность и защита требуют полноценной инженерии на всех уровнях».

Новая платформа Nvidia Open Agent Safety Platform объединяет OpenShell — её программное обеспечение с открытым исходным кодом для контроля того, к чему агенты могут получать доступ во время работы, — с Sentry, независимой системой мониторинга, работающей на процессорах обработки данных Nvidia BlueField-4. Nvidia утверждает, что размещение Sentry на отдельном процессоре — а не на CPU или GPU, где работает ИИ-агент, — обеспечивает изолированный обзор активности агента.

OpenShell не новинка: компания анонсировала это ПО в марте. Но именно комбинация, по мнению Nvidia, обеспечит тот уровень безопасности, который нужен отрасли для дальнейшего движения вперёд. OpenShell создаёт программную границу вокруг агента, а Sentry добавляет ещё одну линию защиты на аппаратном уровне, которая, как заявляет компания, будет непрерывно отслеживать поведение и «изолировать агентов, пытающихся выйти за свои границы, за миллисекунды».

Nvidia перечислила десятки компаний, которые согласились поддержать инициативу и использовать платформу с открытым исходным кодом, включая Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI в списке участвующих компаний не значится.

Хуанг в интервью CNBC в понедельник рассказал, что работа над этой инициативой началась год назад после появления OpenClaw — операционной системы агентов, созданной Питером Стайнбергером. В марте Nvidia выпустила NemoClaw — корпоративную платформу ИИ-агентов и собственную версию OpenClaw со встроенной безопасностью.

«Когда вы развёртываете агента, каким бы умным он ни был, первое, что вы делаете, — отнимаете у него все права», — сказал Хуанг в интервью CNBC, позже сравнив эти меры безопасности с тем, как в компаниях управляют сотрудниками и даже руководителями.

Релиз Nvidia широко поддержали те, кто предупреждал, что замедление разработки может позволить Китаю обогнать США в сфере ИИ.

Дэвид Сакс, основатель, венчурный капиталист, бывший руководитель по вопросам ИИ в Белом доме и сопредседатель Президентского совета по науке и технологиям, заявил, что анонс Nvidia напоминает: безопасность агентов — это инженерная проблема.

«Недавние случаи выхода из-под контроля не были доказательством того, что разработку нужно остановить, — написал он в X. — Они были доказательством того, что песочница была слишком слабой. Среда выполнения была плохо спроектирована и неправильно настроена».

* Meta, Facebook и Instagram запрещены в России.