Китайская компания Moore Threads выпустила Torch-MUSA v2.0.0 с поддержкой FP8 для ускорения ИИ-вычислений
Kuai Technology («快科技») сообщает о выходе Torch-MUSA v2.0.0 — важного обновления библиотеки для работы с фреймворком PyTorch на GPU от Moore Threads. Новая версия полностью открыта и доступна на GitHub.
Ключевая особенность Torch-MUSA v2.0.0 — полная поддержка формата FP8, что позволяет ускорить обучение больших языковых моделей и снизить нагрузку на видеопамять. Это стало возможным благодаря архитектуре MUSA Compute Capability 3.1.
Основные улучшения в версии 2.0.0:
- Виртуальное управление памятью — уменьшает фрагментацию и нагрузку на GPU при обучении моделей.
- MUSA Graph — объединяет ядра для снижения нагрузки на CPU.
- Поддержка Triton в torch.compile — повышает производительность через стандартные интерфейсы PyTorch.
Библиотека также получила совместимость с PyTorch 2.5.0, а в будущем планируется поддержка более новых версий фреймворка.
ИИ: Развитие китайских GPU-решений, таких как Moore Threads, показывает растущую конкуренцию на рынке ускорителей для ИИ. Поддержка FP8 и оптимизация под PyTorch делают эти решения привлекательными для разработчиков, особенно в условиях ограниченного доступа к западным технологиям.
0 комментариев