Character.AI представила технологии AvatarFX и TalkingMachines для создания реалистичных аватаров
Character.AI представила две инновационные технологии — AvatarFX и TalkingMachines, которые позволяют создавать реалистичные видеоаватары и интерактивные беседы в реальном времени, меняя подход к цифровой коммуникации.
AvatarFX преобразует статические изображения в динамические видео с синхронизированной речью и движениями, предлагая беспрецедентный реализм в анимации лица, рук и тела. Технология подходит для генерации видео с 2D и 3D персонажами, а также животными, которые могут говорить, петь и выражать эмоции.
TalkingMachines — это генератор видео в реальном времени, работающий по принципу «FaceTime». Он позволяет взаимодействовать с аватарами, которые реагируют на голос и речь в режиме реального времени. Система использует передовую синхронизацию движения губ, анализируя речь и автоматически создавая естественные движения рта.
Обе технологии основаны на архитектуре Diffusion Transformers (DiT), сочетающей диффузионные модели с трансформерами. AvatarFX создаёт детализированные видео высокой чёткости, идеальные для публикации, тогда как TalkingMachines фокусируется на плавных интерактивных беседах. DiT обеспечивает временную согласованность и масштабируемость, улучшая визуальное качество.
Ключевые инновации AvatarFX и TalkingMachines включают встраивание видео, механизмы пространственного и временного внимания, а также энкодеры. TalkingMachines дополнительно использует аудиомодуль с 1,2 миллиарда параметров, синхронизирующий движения со звуком, и технологию Flow-Matched Diffusion для динамичных жестов.
Новые технологии Character.AI открывают возможности для создания фотореалистичных видеоаватаров, которые могут революционизировать развлечения, образование и онлайн-коммуникацию. AvatarFX уже доступен на сайте Character.AI, а вскоре появится на мобильных устройствах. TalkingMachines предлагает новый уровень интерактивного общения. Подробнее о работе аватаров можно узнать здесь.
0 комментариев