Runway расширяет сферу применения ИИ: видеомодели для обучения роботов и беспилотников

Компания Runway, семь лет разрабатывавшая инструменты для генерации визуального контента для креативной индустрии, видит новую возможность для своей технологии — робототехнику.

Нью-йоркская Runway известна своими генеративными моделями ИИ для генерации видео и фото — большими языковыми моделями, создающими симулированную версию реального мира. В марте компания выпустила Gen-4, свою модель для генерации видео, а в июле — Runway Aleph, модель для редактирования видео.

По словам Анастасиса Германидиса, сооснователя и технического директора Runway, по мере улучшения и повышения реалистичности генеративных моделей компании, к ним начали проявлять интерес компании из сфер робототехники и беспилотных автомобилей, желающие использовать эту технологию.

«Мы считаем, что эта способность симулировать мир полезна далеко за пределами развлечений, хотя развлечения — это всё более растущая и большая область для нас», — заявил Германидис. — «Это делает обучение [роботизированных] политик, взаимодействующих с реальным миром, будь то в робототехнике или в автономном вождении, гораздо более масштабируемым и рентабельным».

Германидис отметил, что работа с компаниями из сфер робототехники и беспилотных автомобилей изначально не входила в планы Runway при её запуске в 2018 году. Осознание более широких применений их моделей пришло после обращений представителей этих отраслей.

Робототехнические компании используют технологию Runway для тренировочных симуляций. Обучение роботов и беспилотных автомобилей в реальных сценариях обходится компаниям дорого, занимает много времени и сложно масштабируется.

Хотя Runway понимает, что их технология не заменит полностью обучение в реальном мире, симуляции на их моделях предоставляют огромную ценность благодаря возможности моделировать невероятно специфические условия.

«Вы можете сделать шаг назад и смоделировать эффект различных действий, — пояснил Германидис. — Если машина повернула так, а не иначе, или выполнила это действие, каков будет результат? Создавать такие развёртки из одного контекста — очень сложная задача в физическом мире, где нужно сохранить все остальные аспекты среды неизменными и протестировать только эффект конкретного действия».

Runway — не единственная компания, работающая в этом направлении. Например, Nvidia в начале этого месяца выпустила последнюю версию своих генеративных моделей Cosmos вместе с другой инфраструктурой для обучения роботов.

Runway не планирует выпускать «полностью отдельную линейку моделей» для клиентов из робототехники и сферы беспилотных автомобилей. Вместо этого компания будет дорабатывать свои существующие модели для лучшего обслуживания этих отраслей и создаёт специализированную команду по робототехнике.

По словам Германидиса, хотя эти отрасли изначально не фигурировали в питчах для инвесторов, те поддерживают это расширение. Runway привлекла более 500 миллионов долларов (40 млрд рублей) от инвесторов, включая Nvidia, Google и General Atlantic, при оценке в 3 миллиарда долларов (240 млрд рублей).

«То, как мы мыслим о компании, действительно построено на принципе, а не на рынке, — сказал Германидис. — Этот принцип — идея симуляции, возможность строить всё лучшее и лучшее представление о мире. Как только у вас появляются такие мощные модели, вы можете использовать их для самых разных рынков, самых разных отраслей. Отрасли, которые мы ожидаем, уже есть, и они изменятся ещё больше благодаря мощи генеративных моделей».