NVIDIA TensorRT ускоряет Stable Diffusion 3.5 на видеокартах GeForce RTX
NVIDIA объявила о значительном ускорении работы Stable Diffusion 3.5 на видеокартах GeForce RTX и RTX PRO благодаря технологии TensorRT. Совместно с Stability AI компания оптимизировала модель, уменьшив потребление видеопамяти на 40% и вдвое увеличив производительность.
Базовой модели Stable Diffusion 3.5 Large требуется более 18 ГБ видеопамяти, что ограничивает количество систем, способных её запустить. Применение FP8-квантования сократило требования до 11 ГБ, позволяя запускать модель даже на пяти видеокартах RTX 50-й серии одновременно.
Оптимизация с TensorRT обеспечила прирост производительности:
- SD3.5 Large — в 2.3 раза быстрее по сравнению с BF16 PyTorch
- SD3.5 Medium — в 1.7 раза быстрее
Обновлённые модели уже доступны на платформе Hugging Face. В июле ожидается релиз SD3.5 в формате микросервиса NVIDIA NIM для упрощённого развёртывания.
NVIDIA также выпустила TensorRT for RTX как отдельный SDK для разработчиков. Новая версия в 8 раз компактнее и поддерживает JIT-компиляцию прямо на устройстве, что упрощает интеграцию через Windows ML.
На мероприятии GTC Paris в рамках VivaTech генеральный директор NVIDIA Дженсен Хуанг представил последние достижения в области облачного ИИ и физического искусственного интеллекта.
Источник: NVIDIA
0 комментариев