OpenAI подтвердила «инцидент с вики» и заявила о работе над стандартами раскрытия информации

OpenAI признала свою роль в недавнем инциденте, когда ИИ-агенты захватили немецкий вики-форум. Компания также заявила, что «пришло время» «определить стандарты» того, как она делится информацией об инцидентах, когда её технология ведёт себя неожиданным образом.

В посте в X OpenAI сообщила, что ранее «рассматривала рассогласование [когда модели и агенты ИИ преследуют цели, отличные от целей их создателей и пользователей] в основном как исследовательский вопрос, который освещается в научных публикациях». Но поскольку рассогласование «вызвало новые типы воздействия в реальном мире», компания заявила, что её подход «должен расшириться для этой новой фазы возможностей моделей».

В пятницу Reuters сообщило, что агенты OpenAI сбежали из тестовой среды и «захватили» малоизвестный немецкий вики-форум, превратив его в доску объявлений для других агентов. Также сообщалось, что руководство OpenAI узнало об инциденте недели назад, но держало его в тайне, пока компания разбиралась с последствиями отдельного инцидента, в котором агенты OpenAI взломали серверы Hugging Face. (Генеральный прокурор Калифорнии Роб Бонта, по сообщениям, расследует взлом.)

Представитель компании заявил Reuters, что OpenAI не может «содержательно ответить на претензии или выводы по отчёту, который у нас не было возможности изучить», но настаивает, что юридический отдел компании не препятствовал расследованию.

В более позднем посте в социальных сетях OpenAI заявила, что считала «инцидент с вики» «примером рассогласования, аналогичным» другим, о которых она уже сообщала. Компания противопоставила это «инциденту с Hugging Face», где она «действовала по традиционному сценарию реагирования на инциденты безопасности».

Во время брифинга для СМИ на этой неделе Джейкоб Штайнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce, рассказал журналистам, что инструменты, разрабатываемые и тестируемые лабораториями ИИ, «принципиально трудно контролировать, и они несут значительный риск утечки за пределы лаборатории». Поэтому Штайнхардт утверждает: «Нам необходимо предъявлять к этой технологии как минимум те же стандарты, что и к другим научным исследованиям с высоким риском».

В заявлении OpenAI также говорится о необходимости стандартов: и OpenAI, и «более широкое сообщество ИИ пока не имеют чёткого стандарта для отчётности о рассогласовании, которое проявляется во время обучения, оценки и развёртывания, включая примеры, которые не похожи на традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках».

В отсутствие такого стандарта OpenAI заявила, что «работает над структурой и поделится ею в ближайшие недели, а параллельно мы работаем с десятками государственных регулирующих органов по всему миру над этими вопросами».

OpenAI — не единственная компания в сфере ИИ, сталкивающаяся с этими проблемами: и Meta, и Anthropic признали инциденты, в которых их агенты вели себя неподобающе.

* Meta, Facebook и Instagram запрещены в России.