NVIDIA выпустила в открытый доступ инструмент Audio2Face для создания реалистичной мимики

Компания NVIDIA сделала значительный шаг в популяризации технологий искусственного интеллекта, выпустив свой инструмент Audio2Face с открытым исходным кодом.

Это прорыв для разработчиков игр и анимации, поскольку теперь любой может генерировать реалистичную мимику персонажей на основе звука.

Audio2Face представляет собой набор SDK, плагинов для Maya и Unreal Engine 5, а также готовых моделей ИИ, которые преобразуют речь в естественное движение губ, включая отображение эмоций в реальном времени. Новая модель 3.0 основана на диффузионных техниках, что обеспечивает ещё большую точность и распознавание эмоций.

Технология уже прошла проверку на практике. Её использовали в играх от таких гигантов, как Codemasters, NetEase и Reallusion. Войцех Паздур из The Farm 51 подчеркивает, что Audio2Face «позволил сэкономить сотни часов ручной анимации» при создании Chernobylite 2: Exclusion Zone.

Рынок цифровых аватаров переживает взрывной рост. В 2024 году его оценивали в 29,06 млрд долларов (~2,3 трлн рублей), а к 2032 году он, по прогнозам, достигнет 652,29 млрд долларов (~52 трлн рублей). На игровой сегмент приходится 30% рынка, а темпы роста в этой отрасли составляют ошеломляющие 49,24% в год.

Audio2Face анализирует звук, распознаёт фонемы и интонацию, а затем автоматически генерирует соответствующую мимику. Это конец трудоёмкого создания анимации вручную и путь к ещё более аутентичным эмоциям в играх и фильмах.