Nvidia представила технологию сжатия текстур на основе ИИ, сокращающую использование VRAM на 85%

С ростом сложности и фотореалистичности игр проблема потребления видеопамяти (VRAM) становится всё острее. Nvidia представила на конференции GTC технологию Neural Texture Compression (NTC), которая, по заявлениям компании, способна сократить использование VRAM на 85% без потери качества.

В отличие от традиционного блочного сжатия, NTC использует небольшие нейронные сети для распаковки текстур в реальном времени. Это не только уменьшает размер игровых установок, но и радикально снижает нагрузку на видеопамять во время игры. В демонстрации сцену «Тосканская вилла», потреблявшую 6,5 ГБ VRAM при стандартном сжатии, NTC смогла обработать, используя всего 970 МБ, сохранив идентичное качество изображения.

Компания также продемонстрировала технологию Neural Materials. Вместо сложных вычислений отражения света (BRDF) нейросеть, обученная на данных текстур, мгновенно определяет, как должен быть окрашен пиксель при заданном освещении. Это позволило ускорить рендеринг демо-сцены в 7,7 раза при разрешении 1080p.

Эффективность NTC обеспечивается использованием специальных аппаратных блоков для матричных вычислений: тензорных ядер у Nvidia, XMX-движков у Intel и AI-ускорителей у AMD. Технология не является генеративным ИИ и не создаёт артефакты («галлюцинации»), так как нейросеть обучается на конкретном наборе текстур игры во время разработки.

Текстуры — основной потребитель видеопамяти в играх, поэтому такие оптимизации крайне востребованы. Аналогичная технология, стандартизированная Microsoft как «Cooperative Vectors» в DirectX, поддерживается и другими производителями. Intel уже показывала свои демо с улучшенными текстурами, а AMD анонсировала похожую разработку в 2024 году.

Хотя на текущий момент ни одна игра не поддерживает NTC или Cooperative Vectors, ожидается, что внедрение начнётся в ближайшем будущем в связи с общей тенденцией индустрии к использованию нейросетевых технологий для решения аппаратных ограничений.