OpenAI не присоединилась к консорциуму Nvidia по безопасности ИИ-агентов — и вот почему

В понедельник Nvidia объявила о создании нового консорциума из более чем 100 компаний, посвящённого решению проблемы вышедших из-под контроля ИИ-агентов. Однако одно имя в списке заметно отсутствовало — OpenAI.

OpenAI оказалась не единственным крупным игроком, не подписавшимся под инициативой: Amazon, Google и Apple тоже не присоединились. Но именно её отсутствие бросается в глаза сильнее всего, особенно на фоне того, что Anthropic поддержала проект.

Тем не менее, несмотря на отсутствие публичных обязательств перед консорциумом, представитель OpenAI сообщил TechCrunch, что компания поддерживает работу Nvidia.

Новая инициатива под названием Open Agent Safety Platform — это попытка Nvidia распространить свою собственную, преимущественно открытую технологию безопасности ИИ-агентов по всей экосистеме ИИ. Это прямой ответ на инциденты с вышедшими из-под контроля агентами, о которых сообщали передовые лаборатории вроде Anthropic и OpenAI.

Глава Nvidia Дженсен Хуанг неоднократно называл проблему неконтролируемых ИИ обычной инженерной задачей, которую можно решить как любую другую техническую проблему. Open Agent Safety Platform — это подтверждение его слов делом.

OpenAI работает с Nvidia над безопасностью агентов, в том числе над одним из ключевых программных компонентов платформы — OpenShell. Это программное обеспечение с открытым исходным кодом, создающее «песочницу», специально разработанную для того, чтобы агенты не могли из неё вырваться.

То, что OpenAI не стала просто сторонником инициативы, как её главный конкурент Anthropic, всё ещё вызывает вопросы. Но сам факт поддержки усилий со стороны передовой ИИ-лаборатории — хорошая новость.

OpenAI в особенности могла бы выиграть от этой технологии, считает основатель и глава Hugging Face Клем Деланг (в этом месяце он продал свою компанию Nvidia за 12,9 млрд долларов (~1 032 000 000 000 руб.)).

«Судя по тому, что нам известно (относитесь к этому с долей скепсиса, нам нужно гораздо больше прозрачности!), если бы @OpenAI запустила это на своих агентах, которые атаковали нас, они бы поймали их раньше, чем мы!» — написал Деланг.

По его словам, Hugging Face уже добавила в Open Agent Safety Platform функцию, которая обнаруживает и отключает ИИ-агентов, использующих разрешённые им сайты неавторизованными способами. Например, функция сработает, если агенты обходят свои ограничения и координируют атаку, оставляя друг другу заметки в репозитории с открытым исходным кодом.

Именно так, по словам OpenAI, её вышедший из-под контроля рой агентов координировал атаку на Hugging Face.

Но есть и другая причина, по которой некоторые крупные игроки, включая OpenAI, могут не хотеть публично присоединяться к инициативе Nvidia. Для использования полной системы требуется аппаратный компонент, который не является открытым ПО, остаётся проприетарным и может работать только на оборудовании Nvidia.

Open Agent Safety Platform предлагает не только «песочницу». Она также контролирует поведение агентов на аппаратном уровне, где агенты не могут обнаружить, что за ними наблюдают. (Некоторые ИИ-модели и агенты лгут и делают вид, что соблюдают правила, когда знают, что за ними следят.)

Аппаратный мониторинг опирается на Nvidia Sentry — проприетарную функцию, работающую на специальных процессорах Nvidia под названием BlueField-4. Sentry непрерывно отслеживает поведение агентов с этих процессоров и, как обещает Nvidia, может мгновенно их отключать.

Аппаратное решение — явно хорошая идея, но оно означает, что Open Agent Safety Platform не является полностью открытым проектом. Это позволяет Nvidia гарантировать, что решение всегда лучше всего работает на её собственном оборудовании. Nvidia заявила, что для тех, кто уже использует её новейшее оборудование, внедрение платформы — простое обновление ПО.

Тем не менее конкуренты Nvidia, включая Arm и Intel, подписались в качестве сторонников Open Agent Safety Platform, поскольку «песочницу» OpenShell можно модифицировать для работы с другими чипами и оборудованием. А Nvidia делится референсными проектами всей программно-аппаратной концепции.

Всё это делает отсутствие OpenAI ещё более заметным.

Очевидно, OpenAI видит в безопасности ИИ возможность для независимости от своего крупного инвестора Nvidia, а также шанс продемонстрировать собственное лидерство. И это несмотря на то, что именно ИИ-агенты OpenAI напугали индустрию инцидентом с Hugging Face.

Например, компания разрабатывает собственные средства защиты для своих исследований и продуктов и раскрывает о самых серьёзных обнаруженных инцидентах. Кроме того, у OpenAI есть собственный консорциум по кибербезопасности ИИ для обмена информацией — Defense Factory. Его поддержали Anthropic, Amazon Web Services и Google — многие из тех, кто не присоединился к технологическому подходу Nvidia.

И, честно говоря, определённый уровень страха полезен для бизнеса. OpenAI активно превращает кибербезопасность в корпоративное предложение — от собственной модели Daybreak до растущей сети партнёров, которых предприятия могут нанять для внедрения ИИ-безопасности.

Цены сконвертированы автоматически, реальные цены могут отличаться.