ByteDance представила модель генерации видео Dreamina Seedance 2.0 в CapCut

OpenAI, возможно, и сворачивает свои усилия на рынке генерации видео, закрыв приложение Sora, но ByteDance в четверг подтвердила, что её новая аудио-видео модель Dreamina Seedance 2.0 начинает внедряться в её платформу для редактирования CapCut.

ByteDance заявляет, что модель позволяет создателям контента черпать идеи, редактировать и синхронизировать видео- и аудиоконтент с помощью текстовых запросов, изображений или референсных видео.

Поэтапный запуск начнётся с пользователей CapCut в Бразилии, Индонезии, Малайзии, Мексике, Филиппинах, Таиланде и Вьетнаме, а со временем модель появится и на других рынках.

Новость о запуске в CapCut следует за недавним сообщением о том, что глобальный релиз модели был приостановлен, пока компания работает над решением проблем с интеллектуальной собственностью, которые вызвали критику со стороны Голливуда из-за предполагаемого нарушения авторских прав. Вероятно, этим объясняется ограниченное число рынков, где модель сейчас доступна в CapCut.

В Китае модель доступна пользователям приложения ByteDance Jianying.

Изображение: ByteDance

Модель генерации видео может работать без опорных изображений, даже если создатель использует всего несколько слов для описания сцены, которая у него в голове, сообщает ByteDance в своём анонсе. CapCut также хорошо справляется с рендерингом реалистичных текстур, движения и освещения в широком диапазоне визуальных перспектив и ракурсов, что, по словам компании, можно использовать для редактирования, улучшения или исправления собственных видеозаписей создателей.

Ещё один вариант использования — позволить авторам тестировать потенциальные идеи на основе ранних концепций или набросков перед съёмкой реального видео.

Кроме того, Dreamina Seedance 2.0 можно использовать для самого разного контента: кулинарных рецептов, фитнес-туториалов, бизнес- или продуктовых обзоров, а также видео с динамичным или экшн-контентом, где ИИ-видеомодели исторически сталкивались с трудностями, поясняет компания.

На старте модель поддерживает создание роликов длиной до 15 секунд в шести соотношениях сторон.

Изображение: ByteDance

В CapCut модель будет внедряться в различные разделы, включая функции редактирования, такие как «ИИ-видео», и инструменты генерации, такие как «Видеостудия». Она также появится на платформе генеративного ИИ ByteDance Dreamina и её маркетинговой платформе Pippit.

Учитывая способность модели создавать реалистичный контент, ByteDance сообщает, что добавила ограничения безопасности, поэтому модель не сможет создавать видео из изображений или видео, содержащих реальные лица. CapCut также будет блокировать несанкционированную генерацию объектов интеллектуальной собственности. (Однако, если бы ограничения работали должным образом, модель уже была бы доступна в США. Скорее всего, в них всё ещё вносятся дополнительные корректировки.)

Контент, созданный с помощью Dreamina Seedance 2.0, также будет содержать невидимый водяной знак, который поможет идентифицировать материал, сделанный с помощью этой модели, когда он распространяется за пределами платформы, добавили в ByteDance. Это может помочь, например, в выполнении запросов правообладателей на удаление контента в случае, если модель пропустит материал, защищённый авторским правом.

ByteDance заявляет, что в процессе запуска модели будет сотрудничать с экспертами и творческими сообществами для итеративного улучшения её возможностей.