Компания Baseten в среду запустила новый стандарт инфраструктуры безопасности вместе со своим исследовательским подразделением Base Labs, объединив усилия с Hugging Face и Goodfire AI для создания инфраструктуры оценки и мониторинга безопасности открытых моделей.

Анонс совпал с продолжающимися спорами о безопасности открытых моделей — их можно сделать опасными, удалив защитные механизмы с помощью набирающей популярность техники, известной как «абляция» (abliteration). Масштаб проблемы огромен: на Hugging Face, где размещаются открытые ИИ-модели, сейчас числится более 6000 «аблетированных» моделей.

Base Labs — исследовательская группа, созданная Baseten в начале этого года, — будет разрабатывать и публиковать методы обучения и мониторинга открытых моделей. Компания представляет свою будущую работу как «стандарт» для открытых моделей, который прозрачен и встроен в сам процесс обучения и развёртывания моделей, а не прикручивается к ним постфактум.

«Мы считаем открытость преимуществом для безопасности ИИ, — заявила компания в X. — Открытость даёт больше видимости в поведение моделей и, что важнее всего, больше возможностей превратить исследования безопасности в действенные и прозрачные механизмы контроля, чем закрытый исходный код».

Компании не раскрыли, как партнёрство будет работать технически, хотя Goodfire обозначила цель в ответе на пост Baseten: «Безопасность должна быть встроена в открытые модели и обеспечиваться теми, кто их обслуживает». Goodfire, специализирующаяся на вскрытии ИИ-«чёрного ящика» для объяснения того, как модели принимают решения, — наиболее вероятный кандидат на часть «встроена».

Baseten, поставщик услуг ИИ-инференса, в июне привлекла $1,5 млрд (~120 млрд руб.) в раунде Series F, подняв свою оценку до $13 млрд (~1,04 трлн руб.). Партнёр Goodfire AI также хорошо капитализирован: в начале этого года компания привлекла $150 млн (~12 млрд руб.) в раунде Series B под руководством B Capital для развития своей платформы интерпретируемости моделей.

В дальнейшем Baseten открыто приглашает более широкую экосистему разработчиков внести вклад в этот фреймворк. «Вместе мы строим экосистему открытых моделей, безопасных и доступных для всех», — отметила компания.

ИИ: инициатива выглядит логичным ответом на реальную проблему — тысячи «аблетированных» моделей на Hugging Face говорят сами за себя. Однако без конкретики о том, как именно будет работать «стандарт», пока это скорее декларация о намерениях, чем готовое решение. Посмотрим, присоединятся ли к инициативе другие игроки рынка открытых моделей.