Instant NeRF от NVIDIA использует ИИ для превращения 2D-фотографий в 3D-сцены

На выставке GTC 2022 исследовательская группа NVIDIA представила впечатляющую технологию под названием Instant NeRF, которая может превращать 2D-фотографии в 3D-сцены за считанные секунды.

Для этого исследователи использовали возможности ИИ, в частности, через так называемые поля нейронного излучения. NeRF используют нейронные сети для реконструкции сцены из изображений, предсказывая цвет света, излучаемого в любом направлении. NVIDIA утверждает, что Instant NeRF является самой быстрой технологией в своем роде, позволяя в некоторых случаях мультипликативное ускорение более чем в 1000 раз, так что рендеринг в 1080p происходит всего за миллисекунды.

Главный научный сотрудник компании Томас Мюллер в выступлении на GDC 2022 под названием «Мгновенные примитивы нейронной графики» объясняет этот сложный эффект результатом трех основных улучшений: реализации алгоритма рендеринга/обучения для конкретной задачи на графическом процессоре, в котором используется мелкозернистый графический процессор; возможности управления потоком намного быстрее, чем плотные тензоры; полностью объединенная реализация небольшой нейронной сети, которая работает быстрее, чем процедуры умножения матриц общего назначения; наконец, NVIDIA разработала метод, называемый кодированием хэш-сетки с несколькими разрешениями, который не зависит от задачи и обеспечивает лучший компромисс между скоростью и качеством, чем ранее существовавшая работа.

Дэвид Любке, вице-президент NVIDIA по графическим исследованиям, заявил:

Если традиционные 3D-представления, такие как полигональные сетки, похожи на векторные изображения, то NeRF подобны растровым изображениям: они плотно фиксируют то, как свет исходит от объекта или внутри сцены. В этом смысле Instant NeRF может быть так же важен для 3D, как цифровые камеры и сжатие JPEG для 2D-фотографии, значительно повышая скорость, простоту и доступность 3D-съемки и обмена.

Применений для технологии Instant NeRF может быть множество: от быстрого сканирования реальной среды или людей для того, чтобы создатели игр могли затем использовать цифровое сканирование в своих проектах, до обучения беспилотных автомобилей или роботов пониманию формы и размера реальных объектов.