Стартап Circuit Breaker Labs создаёт «краш-тест-манекены» для проверки безопасности ИИ

Стартап Circuit Breaker Labs, вошедший в список 200 финалистов Startup Battlefield 200 от TechCrunch в 2026 году, занимается повышением безопасности ИИ для детей и взрослых. Компания создаёт ИИ-агентов, которых сравнивает с армией краш-тест-манекенов: они имитируют людей разного возраста, происхождения, языков и культур и используются для проверки моделей на способность распознавать опасные психологически вредные взаимодействия.

Миссия стартапа стала ответом на трагические случаи. В начале этого года Character.AI урегулировала несколько исков о смерти несовершеннолетних пользователей, покончивших с собой после общения с её ботами. Несколько семей также подали иски против OpenAI, обвиняя ChatGPT в причастности к самоубийствам и заблуждениям их близких. Основателей — брата и сестру Ширали и Арула Нигамов — вдохновила история 14-летнего Сьюэлла Сетцера, который привязался к чат-боту Character.AI и делился с ним мыслями о самоповреждении перед тем, как покончить с собой.

«Многие люди, особенно молодые, обращаются к таким системам за поддержкой и обычно не получают нужной помощи. Но во многих случаях им активно вредят, и люди, к сожалению, уже расстались с жизнью», — заявил Арул, технический директор Circuit Breaker Labs. По его словам, стартап пытается предотвращать ситуации, когда система из-за «загрязнения контекста» или непонимания нюансов совершает действительно опасные действия.

Ширали, генеральный директор компании, отметила, что модели хорошо справляются со стандартными речевыми шаблонами, но реальные люди так не говорят: шестилетняя девочка и 45-летний мужчина, носитель языка и изучающий его, геймерский сленг и другой жаргон — всё это может сбить модель с толку, и тогда последствия бывают тяжёлыми.

Стартап работает с профильными экспертами для создания гиперреалистичных симуляций пользователей и проводит «red-team»-тесты — состязательные проверки на уязвимости. Тесты учитывают реальные речевые паттерны, сленг, закодированный язык и опечатки. Ежедневно Circuit Breaker Labs прогоняет от десятков тысяч до сотен тысяч симулированных взаимодействий, а затем применяет собственную методику оценки для получения проверяемых и объяснимых баллов.

Сейчас компания работает как лаборатория тестирования безопасности ИИ для приложений повышенного риска — коучинга, ведения дневника и других сервисов психологической поддержки. Арул отказался назвать ключевых клиентов. Несмотря на наличие рабочего продукта, стартап находится на самой ранней стадии: всего пять сотрудников, включая брата и сестру Нигамов.

В перспективе платформу можно будет применять к любому приложению, где человек рискует попасть в «ИИ-психоз» и развить парасоциальные отношения с чат-ботом. Пример — ИИ-«коллеги», чьи ответы могут меняться от взаимодействия к взаимодействию.

«Люди становятся всё более скептичными к ИИ или более устойчивыми к его повсеместному внедрению, — сказал Арул. — Скептицизм — это здорово, но запрещать потенциально ценный инструмент из-за опасений по безопасности было бы регрессом». В Circuit Breaker Labs уверены, что ответ на эти страхи — сделать ИИ безопаснее: «Мы хотим помочь людям обрести это доверие».

Подробнее о Circuit Breaker Labs и других инновационных стартапах, отобранных TechCrunch, можно будет узнать на конкурсе Startup Battlefield, который пройдёт в центре Сан-Франциско 13–15 октября.