Nvidia и Microsoft объявили в четверг, что добавят поддержку нейронного шейдинга в предварительную версию Microsoft DirectX в апреле. Нейронный шейдинг будет использовать кооперативные векторы и ядра Nvidia Tensor (модули матричных операций) для ускорения графического рендеринга в играх, поддерживающих эту технологию. Он будет лучше обеспечивать общее использование традиционных методов рендеринга с помощью HLSL (язык высокоуровневого шейдинга) наряду с улучшениями ИИ.

Хотя компьютерная графика реального времени и графические процессоры (GPU) прошли долгий путь, сам конвейер графического рендеринга развивался медленнее, чем аппаратное обеспечение. В частности, хотя GPU от Nvidia уже более семи лет используют ядра Tensor (в первую очередь, предназначенные для вычислений ИИ), до сих пор они использовались только для таких вещей, как масштабирование (DLSS от Nvidia), реконструкция лучей (DLSS 3.5) и шумоподавление, а также генерация кадров (по крайней мере, для DLSS 4).

Это изменится с так называемым нейронным рендерингом — широким термином, описывающим конвейер графического рендеринга в реальном времени, улучшенный новыми методами и возможностями, поддерживаемыми ИИ. Определенное подмножество нейронного рендеринга, ориентированное на улучшение процесса затенения в графике, называется нейронным затенением. Его основная цель — улучшить внешний вид материалов, освещения, теней и текстур путем интеграции ИИ в этап затенения графического конвейера. Добавление кооперативных векторов, которые позволяют небольшим нейронным сетям работать на разных этапах шейдера, например, в пиксельном шейдере, не монополизируя графический процессор, является ключевым фактором для нейронного затенения.

Кооперативные векторы полагаются на умножение матрицы на вектор, поэтому для их работы требуется специализированное оборудование, например, ядра Tensor от Nvidia. Для этого они потенциально могут работать на оборудовании Intel XMX, если оно соответствует требованиям Microsoft. Они также могут работать на ускорителях ИИ RDNA 4 от AMD, хотя RDNA 3 кажется более сомнительным (поскольку ему не хватает пропускной способности вычислений ИИ по сравнению с конкурентами). Тем не менее, Microsoft работает с AMD, Intel, Nvidia и Qualcomm, чтобы со временем обеспечить поддержку кооперативных векторов между поставщиками.

«Microsoft добавляет поддержку кооперативных векторов в DirectX и HLSL, начиная с предварительной версии в апреле», — сказал Шон Харгривз, менеджер по разработке Direct3D в Microsoft. «Это продвинет будущее графического программирования, включив нейронный рендеринг в игровой индустрии. Разблокировка тензорных ядер на графических процессорах Nvidia RTX позволит разработчикам в полной мере использовать нейронные шейдеры RTX для более насыщенных и захватывающих впечатлений в Windows».

Мы понимаем — мы обратились к AMD, Intel и Nvidia за дополнительными комментариями, но не получили ответа — что предстоящий предварительный просмотр DirectX с кооперативными векторами начнется как эксклюзив Nvidia. Как только поддержка драйверов станет доступна от AMD и Intel, она должна работать и на их графических процессорах. Но нам нужно подождать, чтобы узнать не только, работает ли она, но и насколько хорошо она работает — как с точки зрения точности изображения, так и производительности.

Источник: Tomshardware.com