Нейросетевое сжатие текстур приближается к реальности: демонстрации Nvidia и Intel показывают впечатляющие результаты

Архитектура Blackwell от Nvidia поддерживает множество функций «нейронного рендеринга» на базе ИИ. Одной из самых интересных среди них является нейросетевое сжатие текстур (NTC). По мере того как разработчики стремятся к более реалистичным игровым впечатлениям, размеры текстур также увеличиваются, создавая дополнительную нагрузку на ограниченные аппаратные ресурсы, такие как видеопамять (VRAM). Энтузиаст продемонстрировал технологию сжатия текстур в действии на тестовых системах Nvidia и Intel, показав значительное улучшение сжатия. Эта функция в конечном итоге позволит разработчикам делать больше с меньшим объемом VRAM или включать больше эффектов при том же объеме памяти.

NTC обещает значительно уменьшить размеры текстур на диске и в памяти, а также улучшить качество изображения по сравнению с традиционными методами блочного сжатия. Технология позволяет разработчикам использовать небольшую нейросеть, оптимизированную для каждого материала в сцене, чтобы распаковывать текстуры.

Для реализации подобных функций нейронного рендеринга Nvidia, Microsoft и другие компании совместно разработали технологию Cooperative Vectors в DirectX, которая дает разработчикам точный доступ к матричным ускорителям в современных GPU Nvidia, Intel и AMD (у Nvidia они называются Tensor Cores, у Intel — XMX, а у AMD — AI Accelerators).

NTC пока не используется в релизных играх, но технология постепенно развивается. Новое видео от ютубера Compusemble демонстрирует, что будущее с NTC выглядит многообещающе. В ролике показаны две практические демонстрации: от Intel и Nvidia.

Intel представила демонстрацию с шагающим тираннозавром. Текстуры, распакованные с помощью NTC, выглядят заметно четче и детализированнее по сравнению с традиционным блочным сжатием. Результаты NTC гораздо ближе к исходным несжатым текстурам.

На системе Compusemble с видеокартой RTX 5090 время обработки кадра увеличилось с 0,045 мс до 0,111 мс в 4K (в 2,5 раза). Однако это все равно составляет лишь малую часть общего времени рендеринга.

Примечательно, что без Cooperative Vectors время обработки резко возрастает до 5,7 мс, что подтверждает важность этой технологии для практического применения NTC.

Демонстрация Nvidia показывает преимущества NTC для экономии VRAM. Несжатые текстуры шлема пилота занимают 272 МБ. Блочное сжатие сокращает объем до 98 МБ, а NTC — до впечатляющих 11,37 МБ.

Как и в случае с демонстрацией Intel, использование NTC требует небольших вычислительных затрат, но этот компромисс оправдан значительной экономией ресурсов.

В целом, эти демонстрации показывают, что нейросетевое сжатие текстур может принести огромную пользу как разработчикам, так и геймерам — будь то снижение нагрузки на VRAM или увеличение визуальной детализации при тех же аппаратных возможностях. Остается надеяться, что разработчики начнут активно внедрять эту технологию в ближайшее время.

Источник: Tomshardware.com