Робот научился реалистично двигать губами, наблюдая за людьми

Исследователи из Колумбийского университета совершили прорыв в создании реалистичных роботов, научив гуманоида двигать губами для речи и пения, наблюдая за людьми. Это важный шаг к преодолению «эффекта зловещей долины».

Ход Липсон и его команда создали робота, который впервые научился движениям губ для речи и пения. Фото: Jane Nisselson/ Columbia Engineering

Команда из Колумбийской школы инженерии представила робота, который самостоятельно обучается реалистичной мимике. Вместо заранее заданных правил, ИИ-система сначала изучила, как управлять 26 моторами на собственном лице, экспериментируя перед зеркалом. Затем робот анализировал часы видео с YouTube, где люди разговаривают и поют, чтобы связать звуки с движениями губ.

«Чем больше он взаимодействует с людьми, тем лучше у него будет получаться», — сказал Ход Липсон, профессор инноваций и директор лаборатории Creative Machines Lab.

Этот подход позволил роботу синхронизировать движение губ со звуком на нескольких языках и даже исполнить песню из своего ИИ-сгенерированного дебютного альбома. Исследователи признают, что результат не идеален: сложными остаются звуки «Б» и «В», требующие смыкания губ.

«Когда синхронизация губ сочетается с разговорным ИИ, таким как ChatGPT или Gemini, это добавляет совершенно новую глубину связи, которую робот устанавливает с человеком», — отметил ведущий автор исследования Юхан Ху.

Учёные подчёркивают, что эмоциональная выразительность лица — ключевой недостаток современных гуманоидов, сфокусированных на движении ног и рук. По мере внедрения роботов в сферу услуг, развлечений и ухода за пожилыми реалистичная мимика станет критически важной.

«Не существует будущего, в котором все эти гуманоидные роботы не будут иметь лица. И когда у них наконец-то будет лицо, им нужно будет правильно двигать глазами и губами, иначе они навсегда останутся зловещими», — заявил Липсон.

Исследователи также признают этические риски создания машин, способных эмоционально вовлекать людей, и призывают к осторожному прогрессу. Работа опубликована в журнале Science Robotics.