NVIDIA RTX NTC: технология сжатия текстур на базе ИИ снижает потребление видеопамяти до 85%

С ростом требований AAA-игр к качеству текстур, видеокарты с 8 ГБ видеопамяти всё чаще сталкиваются с её нехваткой, что приводит к падению производительности и вынужденному снижению настроек графики. Новая технология нейросжатия текстур (NTC) от NVIDIA, представленная вместе с видеокартами серии RTX 50, может кардинально изменить ситуацию.

Согласно тестам, проведённым Tom's Hardware, технология NTC, использующая тензорные ядра для сжатия и распаковки текстур с помощью ИИ, способна снизить требования к видеопамяти более чем на 80%, а в некоторых случаях — до 85%, при этом сохраняя или даже улучшая качество изображения по сравнению с традиционными методами сжатия, такими как BCn.

NTC — это детерминированная технология декодирования, а не генеративный ИИ, что исключает риск появления артефактов «галлюцинаций». Она предлагает три режима работы в DirectX 12:

• Inference on Load (Вывод при загрузке): Текстуры распаковываются в память GPU при загрузке игры и конвертируются в BCn-формат. Это не снижает потребление видеопамяти во время игры, но уменьшает объём игры на диске и нагрузку на шину PCIe.
• Inference on Sample (Вывод при сэмплировании): Основной режим, обеспечивающий максимальную экономию видеопамяти (до 85%). Небольшая нейросеть в реальном времени декодирует только нужные пиксели текстуры при обращении к ним.
• Inference on Feedback (Вывод по обратной связи): Доступен только в DirectX 12. Распаковывает только те части текстур, которые необходимы для рендеринга текущего кадра, являясь компромиссом между двумя предыдущими режимами.

В тестах на сцене Intel Sponza оригинальные несжатые текстуры занимали 6830 МБ видеопамяти. Режим Inference on Load сократил этот объём до 2041 МБ, а режим Inference on Sample — до впечатляющих 303 МБ. При этом качество изображения в режиме сэмплирования было ближе к оригиналу, чем у текстур в формате BCn.

Производительность также остаётся на высоком уровне. Например, флагманская RTX 5090 в 4K-разрешении с включённым режимом Inference on Sample и TAA демонстрировала увеличение времени отрисовки кадра всего на 0.09 мс по сравнению с режимом загрузки. Более доступные модели, такие как RTX 5070 (1440p) и RTX 5060 (1080p), показывали увеличение времени кадра в пределах 0.50-0.85 мс, что является приемлемой платой за значительную экономию видеопамяти.

Старший инженер NVIDIA Алексей Пантелеев отметил, что режим сэмплирования больше подходит для высокопроизводительных видеокарт, а режим загрузки может работать на любом оборудовании. Разработчики игр смогут применять NTC выборочно к отдельным текстурам или предоставить игрокам выбор режима.

Важно, что NTC не является эксклюзивной технологией NVIDIA и теоретически может быть адаптирована для использования AI-ускорителей видеокарт AMD и Intel. По слухам, подобная технология может быть использована в будущей игровой консоли Sony PlayStation 6.

Хотя на данный момент ни одна игра не поддерживает NTC, отраслевая подготовка уже ведётся. Эта технология не только может продлить жизнь видеокартам с небольшим объёмом памяти, но и открывает новые направления в развитии реального времени рендеринга.

Интересный факт: Технологии сжатия текстур на основе машинного обучения исследуются не только NVIDIA. Например, в 2023 году компания AMD представила исследовательский проект по аналогичной тематике под названием «GPUOpen», а в академической среде подобные алгоритмы разрабатываются уже несколько лет. Однако NTC от NVIDIA — одна из первых коммерчески ориентированных реализаций, готовых к внедрению в игровую индустрию.