Как правительство разрешило выпуск новой ИИ-модели OpenAI Sol? Процесс окутан тайной

OpenAI запускает свою новейшую продвинутую языковую модель Sol для широкого публичного доступа. Sol считается как минимум не уступающей модели Fable от Anthropic, возможности которой (или право собственности на которую) настолько обеспокоили Белый дом, что она была временно запрещена для публичного доступа.

Так как же эти модели получили разрешение на выпуск? Краткий ответ: никто точно не знает.

«Честно говоря, у меня нет доступа к этим процессам, поэтому я не могу сказать, достаточны они или нет», — рассказала TechCrunch Мина Нараянан, старший научный аналитик Центра безопасности и новых технологий Джорджтаунского университета. «Anthropic заявила, что вела переговоры с правительством и разработала классификатор для обнаружения попыток взлома, а также внедрила стратегии защиты от будущих взломов, но точное содержание диалога между правительством, Anthropic и OpenAI остается неясным».

Дин У. Болл, бывший советник президента Трампа по политике, ныне работающий в OpenAI, написал в своем информационном бюллетене в прошлом месяце, что «никто не знает, каковы требования для получения лицензии».

Энди Конвински, компьютерный ученый, сооснователь Databricks, Perplexity и Института Лауде, заявил, что никогда не общался с кем-либо, кто понимает этот процесс, даже с сотрудниками ведущих лабораторий. «Это экзистенциальная проблема, — говорит он TechCrunch. — Безопасность или нет, речь идет о том, у кого есть власть принимать решения — кто контролирует доступ и решает, кому что разрешено?»

Спустя 18 месяцев после начала администрации Трампа по-прежнему мало ясности в том, как двигаться дальше, несмотря на — или, как утверждают некоторые критики, из-за — представителей индустрии, определяющих политику. В прошлом месяце, после недель внутренних разногласий, был опубликован указ, определяющий дорожную карту для оценки передовых моделей, но конкретика, за исключением того, чего не будет, так и не была проработана. «FDA для ИИ не будет», — заявил Financial Times Шрирам Кришнан, бывший партнер Andreesen Horowitz, который до прошлого месяца работал старшим советником по ИИ в Белом доме.

Примечательно, что до сих пор нет единого мнения о том, какие типы моделей требуют государственного контроля и какие агентства должны проводить эти оценки. Пока что, похоже, лидирующую роль играет Центр стандартов и инноваций в области ИИ Министерства торговли, но указ предписывает шести федеральным ведомствам определить окончательный процесс к началу августа. То, что появилось в промежутке, в лучшем случае является импровизацией.

Генеральный директор OpenAI Сэм Альтман заявил на CNBC, что процесс включал переговоры с такими чиновниками, как министр торговли Говард Лютник, министр финансов Скотт Бессент и национальный директор по кибербезопасности США Шон Кэрнкросс, но неясно, кто были эксперты, тестировавшие модели, и как они это делали. OpenAI отказалась делиться с TechCrunch подробностями процесса, но указала на результаты нескольких внешних оценок, проведенных такими организациями, как UK AISI, SecureBio и Irregular, в карточке безопасности новой модели.

Как и в случае с запуском Fable от Anthropic, OpenAI предоставила предварительный доступ к модели правительству и избранным пользователям до широкого релиза, но мы не знаем, кто были все эти пользователи и как их выбирали. В конце июня в блоге компания заявила, что «не считает, что такой процесс государственного доступа должен стать долгосрочным стандартом», и пообещала работать с правительством над разработкой другого пути.

Однако фоном для этих переговоров служат сообщения о том, что Альтман предлагал до 5% акций OpenAI в обмен на так называемые «счета Трампа» для администрации, а также роль президента OpenAI Грега Брокмана как крупнейшего публично известного донора предвыборной кампании Трампа. Сторонним наблюдателям трудно отделить эти действия от, по-видимому, более мягкого подхода правительства к регулированию Sol.

Модель Fable от Anthropic, с другой стороны, была временно отозвана из широкого доступа, когда правительство США запретило ее использование иностранными гражданами, отчасти из-за реальных опасений, что пользователи взламывают модель для получения хакерских возможностей, и отчасти из-за личных конфликтов между Anthropic и администрацией Трампа. Угроза запрета на экспорт также могла побудить OpenAI к более активному сотрудничеству с (неизвестными) требованиями правительства.

С точки зрения индустрии, невмешательство в регулирование может быть приятным, но подход, зависящий от личных связей с чиновниками администрации, создает неопределенность и плохие стимулы.

Конвински рассказал TechCrunch, что он обеспокоен тем, что настоящие эксперты в этой технологии — «исследователи безопасности, исследователи выравнивания, исследователи интерпретируемости, а также специалисты по данным и люди со всех уровней стека» — не играют достаточной роли в процессе выпуска моделей.

Конвински утверждает, что «открытое сообщество» — лучший способ сбалансировать безопасность и инновации. Он указывает на такие модели, как FDA, NIH или национальные лаборатории, которые объединяют исследователей, государственных чиновников и частные компании для достижения консенсуса по вопросам безопасности.

Отчасти это сводится к стимулам капитализма, которые мотивировали исследователей ИИ более десяти лет и проявились в суде во время иска Илона Маска, оспаривающего корпоративную структуру OpenAI. Болл отмечает, что природа бизнеса ИИ требует от компаний быстро окупать большую часть затрат на обучение после выпуска моделей, пока они опережают конкурентов. «Даже если их намерения благие, в операционные процедуры встроены очень четкие юридические обязательства и фидуциарная ответственность», — указывает Конвински.

Болл в своей статье утверждал, что путь вперед будет зависеть от сторонних аудиторских организаций, лицензированных правительством, которые будут оценивать подход ведущих лабораторий к безопасности. Конвински также оптимистично настроен в отношении новых институциональных форматов, таких как целевые исследовательские организации, которые могли бы помочь более незаинтересованным экспертам из академических кругов и некоммерческого мира получить доступ к передовым моделям и оценивать их.

Пока что секретность вокруг разработки ИИ никуда не денется, но она также создаст политические проблемы для индустрии, к которой американцы относятся со все большим скептицизмом. «Нет ощущения, что ответственные люди продвигают эти изменения», — заявил на прошлой неделе на конференции Open Frontier Ремзи Арпачи-Дюссо, профессор компьютерных наук Висконсинского университета в Мадисоне.

На том же мероприятии Дэвид Сигел, компьютерный ученый, основавший Two Sigma, один из самых успешных количественных хедж-фондов, попросил участников «представить ситуацию, которая, на мой взгляд, была бы очень плохой, когда небольшое количество фирм контролирует технологию; правительство в своих секретных лабораториях оценивает, пригодна ли технология для использования; а широкая публика и научное сообщество не имеют никакого доступа ко всему этому». Похоже, нам не нужно это представлять.