Стартап Irregular привлёк $80 млн на защиту передовых ИИ-моделей

В среду компания Irregular, специализирующаяся на безопасности искусственного интеллекта, объявила о привлечении 80 миллионов долларов США (~6,4 млн рублей) нового финансирования в раунде под руководством Sequoia Capital и Redpoint Ventures, при участии генерального директора Wiz Асафа Раппапорта. По данным источника, близкого к сделке, оценка Irregular в рамках раунда составила 450 миллионов долларов.

«Мы считаем, что вскоре значительная часть экономической активности будет происходить от взаимодействия "человек-ИИ" и "ИИ-ИИ"», — заявил соучредитель компании Дэн Лахав в интервью TechCrunch. — «И это нарушит систему безопасности по множеству направлений».

Ранее известная как Pattern Labs, Irregular уже является значимым игроком в области оценки ИИ. Работы компании цитируются в оценках безопасности для Claude 3.7 Sonnet, а также моделей o3 и o4-mini от OpenAI. Более того, фреймворк компании для оценки способности модели обнаруживать уязвимости (под названием SOLVE) широко используется в отрасли.

Хотя Irregular проделала значительную работу по существующим рискам моделей, компания привлекает финансирование с прицелом на нечто более амбициозное: выявление возникающих рисков и моделей поведения до их появления в реальном мире. Компания создала сложную систему моделируемых сред, позволяющую проводить интенсивное тестирование модели до её выпуска.

«У нас есть сложные сетевые симуляции, где ИИ выступает как в роли атакующего, так и защитника», — говорит соучредитель Омер Нево. — «Таким образом, когда выходит новая модель, мы можем увидеть, где защита выдерживает, а где — нет».

Безопасность стала точкой пристального внимания для индустрии ИИ, поскольку потенциальные риски, создаваемые передовыми моделями, продолжают проявляться. Этим летом OpenAI провела масштабный пересмотр своих внутренних мер безопасности, уделив внимание потенциальному корпоративному шпионажу.

В то же время ИИ-модели становятся всё более искусными в поиске уязвимостей программного обеспечения — способность, имеющая серьёзные последствия как для атакующих, так и для защитников.

Для основателей Irregular это лишь первая из многих проблем безопасности, вызванных растущими возможностями больших языковых моделей.

«Если цель передовых лабораторий — создавать всё более сложные и capable модели, то наша цель — обеспечивать безопасность этих моделей», — говорит Лахав. — «Но это движущаяся цель, поэтому в будущем предстоит сделать ещё очень, очень много работы».