Главный тренд в робототехнике — передать управление генеративной ИИ-модели, но это создаёт проблему: такая архитектура не является предсказуемой, как традиционные алгоритмы. Как убедиться, что ваш новый гуманоид безопасен?

Доктор Дин Чжао, возглавляющий лабораторию Safe AI в Университете Карнеги — Меллона, работает над этой проблемой практически всю свою карьеру. Теперь вместе с опытным стартап-руководителем Кайлом Вонгом и инженером по машинному обучению Симо Рашиди он основал компанию Safeworld, призванную её решить.

«Проблема безопасности, о которой мы говорим, — это сочетание, во-первых, действительно продвинутых вероятностных оценок генеративного ИИ — как вы можете оценить риск вероятностной системы? — говорит Чжао. — Вторая часть, которая действительно сложна, — это доверие, и вам нужно и то, и другое, чтобы развернуть робота».

Safeworld выходит из режима скрытности с посевным раундом на сумму более 12 миллионов долларов (~960 миллионов рублей), возглавленным Shine Capital и a16z Speedrun, при дополнительных инвестициях от Box Group, эндаумента Университета Карнеги — Меллона, Innovation Endeavors и SV Angel.

«Время создавать отраслевой стандарт безопасности — сейчас, пока роботы проектируются и развёртываются, — сказал партнёр a16z Speedrun Джонатан Лай в интервью TechCrunch. — К тому моменту, когда роботы в домах будут сталкиваться с детьми и вызывать инциденты, будет уже слишком поздно».

Специализация Safeworld — оценка системы управления роботом в симуляциях, населённых реалистичными моделями людей. Это сродни задаче, с которой сталкиваются такие компании, как Tesla или Wayve, которые должны гарантировать, что их автомобили адекватно реагируют на разнообразные неожиданные инциденты на дороге. Но для роботов это будет сложнее, утверждает Чжао, потому что они работают в неструктурированной среде, и каждое помещение, в котором они находятся, будет иметь свои стандарты безопасности.

«Одна из самых распространённых ситуаций — если на конкретной фабрике есть слепой угол, — сказал Вонг. — Какая скорость или какое расстояние торможения нужны, чтобы гарантировать, что робот не столкнётся с конкретным человеком? Если человек несёт коробки, например, обнаружит ли робот человека или нет?»

Чтобы ответить на этот вопрос, Safeworld построит цифровую версию этого угла в модели типа Genesis или MuJoCo, вставит симуляцию оцениваемого робота, управляемую его реальным программным обеспечением, а затем прогонит тысячи сценариев, в которых модели людей встречаются с роботом. Это сложнее, чем кажется, по словам Чжао, потому что люди непредсказуемы.

«Спотыкание и падение — тоже хороший пример того, что мы много тестируем в симуляции, — сказал Вонг. — Иначе вам пришлось бы идти и спотыкаться и падать перед роботом, что довольно трудно делать постоянно».

Есть определённое сходство между платформой, которую строит Safeworld, и инструментами, используемыми внутри самих производителей роботов. Однако основатели считают, что помимо их специфической экспертизы производители роботов захотят, чтобы третья сторона проверяла их работу — хотя бы для обмена информацией о случаях безопасности между конкурентами.

«Многие недооценивают, насколько сложно будет решить некоторые из этих граничных случаев, — сказал Чжао. — Мы беспокоимся не о роботе в вакууме, на демонстрации. Мы беспокоимся о роботе, развёрнутом в масштабе, с людьми, которые, возможно, никогда раньше не управляли роботом».

Вишал Дугар, технический директор Gritt Robotics, разрабатывает ИИ-мозг для роботов, которые сейчас помогают рабочим устанавливать фотоэлектрические панели на солнечных фермах промышленного масштаба, и стремится взяться за более сложные строительные задачи. Его компания сотрудничает с Safeworld в разработке симуляций безопасности.

«Сложность большинства наших систем в том, что очень трудно формально доказать это с помощью математики, написав уравнения и сказав: да, система проверена как безопасная, — говорит Дугар. — Это неизбежно приходится делать эмпирически».

Его роботы работают бок о бок с людьми, и обеспечение того, чтобы роботизированная рука не ударила их, очевидно, на первом месте. Чтобы проверить это на практике, необходимо рассмотреть всевозможные потенциальные сценарии.

«Люди бывают самыми разными, — отмечает Дугар. — Их тела могут находиться в разных положениях. Они могут стоять на коленях, стоять. Они могут спотыкаться и падать. Они могут приседать. Они могут бежать. Вы должны реагировать на всё это поведение, которое люди потенциально могут демонстрировать на этих объектах, а также на разнообразие человеческой внешности — одежду, размер, форму, рост, цвет кожи и всё остальное».

Для Safeworld и генеративного ИИ в робототехнике всё ещё ранние дни, и компания пока определяет лучшую модель для своего продукта — платформу для внешних пользователей или сервисный подход? — но команда уверена, что берётся за правильную проблему.

«Мы, вероятно, будем первой прибыльной компанией в этой области, — говорит Чжао. — Потому что если кто-то хочет развернуть робота, ему придётся заплатить нам, чтобы урегулировать ситуацию».

Цены сконвертированы автоматически, реальные цены могут отличаться.