Технология генерации кадров NVIDIA может появиться в серии GeForce RTX 30

7 часов назад / Технологии → Новости / Технологии

Глубокое обучение суперсэмплинга (DLSS

) от NVIDIA претерпело множество итераций до текущей версии 4 с моделью трансформатора, предоставляя новые технологии, такие как DLSS Multi Frame Generation, прогнозирование нескольких кадров заранее для генерации предстоящего кадра и увеличение вывода кадров в секунду. Однако не каждое поколение NVIDIA GPU поддерживает эти более современные технологии DLSS. В интервью Digital Foundry Брайан Катанзаро, вице-президент по прикладным исследованиям глубокого обучения в NVIDIA, прокомментировал распространение некоторых технологий DLSS на более старые поколения GPU. Например, DLSS Ray Reconstruction, Super Resolution и Deep Learning Anti-Aliasing (DLAA) работают на графических процессорах NVIDIA GeForce RTX 20/30/40/50. Однако серия RTX 40 имеет эксклюзивную генерацию кадров DLSS, а новейшая серия RTX 50 имеет эксклюзивную функцию DLSS Multi Frame Generation.

Однако есть надежда на старое оборудование. «Я думаю, что это в первую очередь вопрос оптимизации, а также проектирования, а затем и конечного пользовательского опыта. Мы запускаем эту генерацию кадров, лучшую технологию многокадровой генерации, с серией 50, и посмотрим, что мы сможем выжать из старого оборудования в будущем». Таким образом, генерация кадров, скорее всего, появится в старой серии RTX 30, с небольшой вероятностью того, что серия RTX 20 получит генерацию кадров DLSS. Из-за ограничений бюджета вычислений многокадровая генерация, скорее всего, останется эксклюзивом серии RTX 50, поскольку у нее больше чистой вычислительной мощности для обработки этой технологии.

Брайан Катанзаро также поделился некоторыми заметками о разработке DLSS. «Когда мы создавали NVIDIA DLSS 3 Frame Generation, нам абсолютно необходимо было аппаратное ускорение для вычисления Optical Flow. У нас не было достаточного количества тензорных ядер и не было достаточно хорошего алгоритма Optical Flow. Мы не разработали алгоритм Optical Flow в реальном времени, работающий на тензорных ядрах, который мог бы соответствовать нашему вычислительному бюджету. У нас был ускоритель Optical Flow, который NVIDIA создавала годами как эволюцию нашей технологии видеокодирования, и он также был частью нашего автомобильного ускорения компьютерного зрения для беспилотных автомобилей.

Для нас имело смысл использовать это для генерации кадров NVIDIA DLSS 3. Но сложность любой аппаратной реализации алгоритма вроде Optical Flow заключается в том, что его действительно трудно улучшить. Он такой, какой есть, и те сбои, которые возникли из-за этого аппаратного Optical Flow, мы не могли исправить с помощью более интеллектуальной нейронной сети, пока не решили просто заменить его и перейти на решение, полностью основанное на ИИ, поэтому именно это мы и сделали для генерации кадров в DLSS 4».

Источник: Digital Foundry