Иск Илона Маска поставил под сомнение приверженность OpenAI безопасности ИИ

Юридическая попытка Илона Маска добиться реструктуризации OpenAI может быть сосредоточена на том, как коммерческая «дочка» компании влияет на её основную миссию — обеспечение безопасности человечества при создании общего искусственного интеллекта (AGI).

В четверг федеральный суд Окленда (Калифорния) заслушал показания бывшей сотрудницы и члена совета директоров, которая заявила, что стремление компании выводить продукты ИИ на рынок подорвало её приверженность безопасности.

Рози Кэмпбелл присоединилась к команде AGI readiness в 2021 году и покинула OpenAI в 2024-м после расформирования её отдела. Примерно в то же время была закрыта и команда Super Alignment, занимавшаяся безопасностью.

«Когда я присоединилась, организация была очень ориентирована на исследования, и было обычным делом говорить об AGI и проблемах безопасности. Со временем она стала больше похожа на организацию, ориентированную на продукт», — показала она.

На перекрёстном допросе Кэмпбелл признала, что для создания AGI, вероятно, необходимо значительное финансирование, но создание сверхинтеллектуальной модели без надлежащих мер безопасности не соответствует миссии организации, в которую она вступала.

Кэмпбелл указала на инцидент, когда Microsoft развернула версию модели GPT-4 в Индии через поисковую систему Bing до того, как модель была оценена Советом по безопасности развёртывания (DSB) OpenAI. По её словам, сама модель не представляла большой угрозы, но компании было необходимо «установить строгие прецеденты по мере того, как технология становится всё более мощной. Мы хотим иметь надёжные процессы безопасности, которые, как мы знаем, неукоснительно соблюдаются».

Адвокаты OpenAI также добились от Кэмпбелл признания, что, по её «спекулятивному мнению», подход OpenAI к безопасности превосходит подход xAI — компании Маска, которую ранее в этом году приобрела SpaceX.

OpenAI публикует оценки своих моделей и делится структурой безопасности, но отказалась комментировать свой текущий подход к согласованию AGI. Дилан Скандинаро, нынешний руководитель отдела готовности, был нанят из Anthropic в феврале. Сэм Альтман заявил, что это назначение позволит ему «сегодня спать спокойнее».

Развёртывание GPT-4 в Индии стало одним из тревожных сигналов, которые побудили некоммерческий совет директоров OpenAI временно уволить генерального директора Сэма Альтмана в 2023 году. Этот инцидент произошёл после того, как сотрудники, включая тогдашнего главного учёного Илью Суцкевера и технического директора Миру Мурати, пожаловались на стиль управления Альтмана, избегающего конфликтов. Таша Макколи, член совета директоров в то время, показала, что совет опасался, что Альтман не был достаточно откровенен, чтобы необычная структура управления могла функционировать.

Макколи также рассказала о широко освещавшейся модели введения Альтманом совета в заблуждение. В частности, он солгал другому члену совета о намерении Макколи уволить третьего члена, Хелен Тонер, опубликовавшую документ с критикой политики безопасности OpenAI. Альтман также не проинформировал совет о решении запустить ChatGPT публично, и членов совета беспокоило его сокрытие потенциальных конфликтов интересов.

«Мы — некоммерческий совет, и наша задача заключалась в надзоре за коммерческой структурой под нами, — заявила Макколи в суде. — Наш основной способ делать это ставился под сомнение. У нас не было достаточной уверенности, чтобы доверять информации, которая позволяла бы нам принимать взвешенные решения».

Однако решение об увольнении Альтмана совпало по времени с тендерным предложением сотрудникам компании. Макколи отметила, что, когда персонал OpenAI начал поддерживать Альтмана, а Microsoft работала над восстановлением статус-кво, совет в конечном итоге изменил решение, и члены, выступавшие против Альтмана, ушли в отставку.

Очевидная неспособность некоммерческого совета влиять на коммерческую организацию напрямую связана с иском Маска о том, что превращение OpenAI из исследовательской организации в одну из крупнейших частных компаний мира нарушило негласное соглашение основателей.

Дэвид Шизер, бывший декан Колумбийской школы права, нанятый командой Маска в качестве эксперта, поддержал опасения Макколи.

«OpenAI подчёркивала, что ключевая часть её миссии — безопасность, и они будут ставить безопасность выше прибыли, — сказал Шизер. — Частью этого является серьёзное отношение к правилам безопасности: если что-то должно пройти проверку безопасности, это должно произойти. Важен сам процесс».

Поскольку ИИ уже глубоко интегрирован в коммерческие компании, проблема выходит далеко за рамки одной лаборатории. Макколи заявила, что провалы внутреннего управления в OpenAI должны стать причиной для более жёсткого государственного регулирования передового ИИ: «Если всё сводится к одному генеральному директору, принимающему эти решения, и на карту поставлено общественное благо, это крайне неоптимально».