Luma представила модель Ray3 Modify для редактирования видео с помощью ИИ

Компания Luma, специализирующаяся на создании ИИ для видео и 3D-моделей и поддерживаемая фондом a16z, представила новую модель под названием Ray3 Modify. Она позволяет модифицировать существующие видеозаписи, сохраняя при этом исходную актёрскую игру. Пользователи могут задавать целевой облик персонажа, а также указывать начальный и конечный кадры, чтобы ИИ сгенерировал переход между ними.

Как заявила компания в четверг, модель Ray3 Modify решает проблему сохранения человеческой игры при редактировании или генерации эффектов с помощью ИИ для творческих студий. Новая модель точнее следует исходному видео, что позволяет студиям использовать живых актёров для создания контента. Luma подчёркивает, что модель сохраняет оригинальное движение актёра, тайминг, направление взгляда и эмоциональную подачу, при этом полностью преобразуя сцену.

С помощью Ray3 Modify можно предоставить референс персонажа, в которого нужно превратить актёра из исходного видео. Это также позволяет сохранять информацию о костюмах, внешности и идентичности на протяжении всей съёмки.

Кроме того, пользователи могут задать начальный и конечный кадры, чтобы создать видео с помощью новой модели. Это полезно для режиссуры переходов или контроля за движением и поведением персонажа при сохранении целостности между сценами.

«Генеративные видео-модели невероятно выразительны, но ими сложно управлять. Сегодня мы рады представить Ray3 Modify, который объединяет реальный мир с выразительностью ИИ, давая полный контроль творческим специалистам. Это означает, что творческие команды могут снимать выступления на камеру, а затем мгновенно модифицировать их, помещая в любое вообразимое место, меняя костюмы или даже переснимая сцену с помощью ИИ, без необходимости повторять физическую съёмку», — заявил сооснователь и CEO Luma AI Амит Джайн.

Luma сообщила, что новая модель доступна пользователям через её платформу Dream Machine. Компания, которая конкурирует с такими проектами, как Runway и Kling, впервые представила возможности модификации видео в июне 2025 года.

Анонс модели последовал за новым раундом финансирования Luma на 900 миллионов долларов (~72 млрд рублей), о котором стало известно в ноябре. Раунд возглавила саудовская ИИ-компания Humain, принадлежащая Суверенному фонду благосостояния. В нём также участвовали существующие инвесторы, включая a16z, Amplify Partners и Matrix Partners. Стартап также планирует построить в Саудовской Аравии вместе с Humain ИИ-кластер мощностью 2 ГВт.