NVIDIA TensorRT ускоряет Stable Diffusion 3.5 на видеокартах GeForce RTX

NVIDIA объявила о значительном ускорении работы Stable Diffusion 3.5 на видеокартах GeForce RTX и RTX PRO благодаря технологии TensorRT. Совместно с Stability AI компания оптимизировала модель, уменьшив потребление видеопамяти на 40% и вдвое увеличив производительность.

Базовой модели Stable Diffusion 3.5 Large требуется более 18 ГБ видеопамяти, что ограничивает количество систем, способных её запустить. Применение FP8-квантования сократило требования до 11 ГБ, позволяя запускать модель даже на пяти видеокартах RTX 50-й серии одновременно.

Оптимизация с TensorRT обеспечила прирост производительности:

• SD3.5 Large — в 2.3 раза быстрее по сравнению с BF16 PyTorch
• SD3.5 Medium — в 1.7 раза быстрее

Обновлённые модели уже доступны на платформе Hugging Face. В июле ожидается релиз SD3.5 в формате микросервиса NVIDIA NIM для упрощённого развёртывания.

NVIDIA также выпустила TensorRT for RTX как отдельный SDK для разработчиков. Новая версия в 8 раз компактнее и поддерживает JIT-компиляцию прямо на устройстве, что упрощает интеграцию через Windows ML.

На мероприятии GTC Paris в рамках VivaTech генеральный директор NVIDIA Дженсен Хуанг представил последние достижения в области облачного ИИ и физического искусственного интеллекта.

Источник: NVIDIA