ИИ Doubao обновился: теперь он создаёт видео со звуком
На конференции Volcano Engine Force, прошедшей 18 декабря, был официально представлен обновлённый мультимодальный ИИ-модель для создания аудио и видео — Doubao Seedance 1.5 Pro.
Главное нововведение — модель научилась генерировать полноценные видеоролики со звуком. Для этого пользователям достаточно обновить приложение Doubao до последней версии, загрузить фотографию через раздел «Фотография оживает», добавить текстовое описание и выбрать модель «1.5 Pro».
Seedance 1.5 Pro использует инновационную архитектуру для совместного создания аудио и видео, что позволило добиться прорыва в синхронизации, визуальной выразительности и согласованности повествования.
Среди ключевых возможностей модели:
- Высокоточная синхронизация: Модель поддерживает генерацию окружающих звуков, звуков действий, синтезированных эффектов, музыки и голоса с синхронизацией на уровне миллисекунд.
- Диалоги на нескольких языках: Система поддерживает монологи и диалоги нескольких персонажей с точным соответствием артикуляции. Помимо стандартного китайского и английского, модель работает с диалектами (сычуаньским, кантонским, шанхайским и др.) и другими языками.
- Кинематографическое качество: Seedance 1.5 Pro способна генерировать естественные движения с сильным чувством ритма, точно улавливать детали, а также тонко передавать эмоции и выражения лиц персонажей.
ИИ: Развитие моделей, способных генерировать синхронизированные аудиовизуальные материалы «из ничего» или по одному изображению, — это следующий логичный шаг после взрывного роста текстовых и изображенческих ИИ. Подобные инструменты могут серьёзно упростить и удешевить создание контента для соцсетей, образовательных роликов или даже прототипов для кинопроизводства. Вопросы авторства и достоверности такого контента, однако, становятся ещё острее.
0 комментариев