Бывшие сотрудники Anthropic и METR создали стартап AIUC для сертификации безопасности ИИ-агентов

Через день после того, как исследователь Anthropic Джейкоб Коксон уволился из-за опасений, что ИИ может уничтожить человечество к концу десятилетия, я встретился с основателями и свояками Руне Квистом и Радживом Даттани. Они считают, что у них есть решение, которое может всех нас спасти — или, по крайней мере, помочь предотвратить выход ИИ-агентов из-под контроля внутри предприятий.

«ИИ становится умнее всё быстрее. Удивительно то, что по мере роста интеллекта ИИ его становится сложнее внедрять и сложнее контролировать, а не проще», — сказал Квист, один из первых сотрудников Anthropic, который к тому же женат на сестре Даттани. Даттани — бывший операционный директор исследовательской организации по безопасности ИИ METR.

Пара основала стартап Artificial Intelligence Underwriting Company (AIUC), который надеется привнести безопасность ИИ на предприятия и в компании, создающие модели и агентов ИИ. Среди клиентов стартапа названы Cursor, Lovable, Harvey и ElevenLabs.

Во вторник AIUC объявила о привлечении $40 млн (около 3,2 млн рублей) в раунде Series A под руководством Ribbit Capital при участии First Harmonic. Ранее компания закрыла посевной раунд на $15 млн (около 1,2 млн рублей) от Ната Фридмана через его фонд NFDG, а также от Emergence, Terrain и сооснователя Anthropic Бена Манна, среди прочих, доведя общий объём финансирования до $55 млн (около 4,4 млн рублей).

Что привлекло внимание этой элитной группы инвесторов, так это попытка AIUC применить знакомую модель кибербезопасности к новому набору рисков ИИ. Компания построила сторонний слой аудита и сертификации для ИИ-агентов.

«Банки, больницы, правительства и военные больше не отказываются от внедрения ИИ потому, что модель недостаточно умна, — сказал Квист. — Они отказываются, потому что дали своим клиентам обязательства о том, что система будет и не будет делать, а гарантировать это сейчас никто не может».

Взяв за образец широко распространённый стандарт кибербезопасности SOC 2, AIUC разработала стандарт под названием AIUC-1 и сервис тестирования для проверки агентов на соответствие этому стандарту.

Для создания стандарта AIUC собрала консорциум из примерно 250 руководителей по безопасности и рискам — покупателей агентов. «Это люди, с которыми мы встречаемся ежемесячно, и вопрос, который мы им задаём: когда вы покупаете агентов у кого-то, на что бы вы смотрели? Какие вопросы вы хотели бы задать и что хотели бы видеть проработанным?» — рассказал Даттани изданию TechCrunch.

Эта обратная связь формирует тесты. Затем стартап прогоняет агента через набор из примерно 5000 тестов, чтобы посмотреть, как он ведёт себя в сценариях, связанных с джейлбрейками, галлюцинациями и утечками данных. Результаты формируют отчёт примерно на 100 страниц с подробным описанием того, где агент работает безопасно и надёжно — а где нет. Интересно, что AIUC использует ИИ-агентов для проведения тестов и ИИ для анализа данных. Однако финальный аудит проверяют люди, сказал Квист.

Если это звучит немного знакомо, так и есть. Бывший работодатель Даттани, METR, где он был операционным директором с 2024 по 2025 год и остаётся членом совета, проводит аналогичное тестирование для передовых лабораторий, хотя до недавнего времени его работа в основном фокусировалась на производительности (может ли агент надёжно выполнять задачи). METR была одной из независимых исследовательских организаций, которые OpenAI привлекла для расследования инцидента с Hugging Face.

Генеральный директор Anthropic Дарио Амодеи также недавно призвал индустрию ИИ замедлить развитие передовых технологий, сославшись на резкий рост инцидентов с плохим поведением. В своём посте Амодеи предложил идею обязать передовые лаборатории использовать встроенных сторонних оценщиков для наблюдения и проверки безопасности, назвав METR одной из возможностей.

Хотя AIUC не предлагает встраиваться на площадках клиентов, общая идея похожа: дать предприятиям независимую оценку того, насколько безопасны их ИИ-агенты. «Вот где он проходит проверку и где вы можете ему доверять. А вот где есть опасения. Вам следует знать об этих моментах, прежде чем принимать решение о покупке», — сказал Даттани.

Цены сконвертированы автоматически, реальные значения могут отличаться.