Графические процессоры AMD Instinct обеспечивают работу DeepSeek-V3

Модель DeepSeek-V3 представляет собой сильную языковую модель Mixture-of-Experts (MoE) с общими параметрами 671B, из которых 37B активируются для каждого токена. Для достижения эффективного вывода и экономически эффективного обучения DeepSeek-V3 использует архитектуры Multi-head Latent Attention (MLA) и DeepSeekMoE, которые были частью его предшественника DeepSeek-V2. Кроме того, DeepSeek-V3 является пионером в области стратегии без дополнительных потерь для балансировки нагрузки и устанавливает цель обучения прогнозирования нескольких токенов для более высокой производительности. DeepSeek-V3 позволяет разработчикам работать с передовыми моделями, используя возможности памяти для одновременной обработки текстовых и визуальных данных, обеспечивая широкий доступ к последним достижениям и предоставляя разработчикам больше функций. DeepSeek-V3 достигает наилучшей производительности в большинстве тестов, особенно в математических и кодовых задачах.

Ускорители графических процессоров AMD Instinct и DeepSeek-V3
Ускорители AMD Instinct GPUs преобразуют ландшафт многомодальных моделей ИИ, таких как DeepSeek-V3, которые требуют огромных вычислительных ресурсов и пропускной способности памяти для обработки текстовых и визуальных данных. Ускорители AMD Instinct обеспечивают выдающуюся производительность в этих областях.

Использование программного обеспечения AMD ROCm и ускорителей AMD Instinct GPU на ключевых этапах разработки DeepSeek-V3 еще больше укрепляет давнее сотрудничество с AMD и приверженность открытому программному подходу для ИИ. Масштабируемая инфраструктура от AMD позволяет разработчикам создавать мощные приложения визуального рассуждения и понимания.

Расширенная поддержка FP8 в ROCm может значительно улучшить процесс запуска моделей ИИ, особенно на стороне вывода. Она помогает решать ключевые проблемы, такие как узкие места памяти и проблемы с высокой задержкой, связанные с большим количеством форматов чтения-записи, позволяя обрабатывать более крупные модели или пакеты в рамках тех же аппаратных ограничений, что приводит к более эффективному процессу обучения и вывода. Кроме того, вычисления с пониженной точностью FP8 могут сократить задержки при передаче данных и вычислениях. AMD ROCm расширяет поддержку FP8 в своей экосистеме, обеспечивая повышение производительности и эффективности во всем, от фреймворков до библиотек.

Сотрудничество AMD и DeepSeek: готовность к поддержке на 0-й день:
С выпуском DeepSeek-V3 AMD продолжает свою традицию содействия инновациям посредством тесного сотрудничества с командой DeepSeek. Это партнерство гарантирует, что разработчики полностью оснащены для использования модели DeepSeek-V3 на графических процессорах AMD Instinct с самого начала, предоставляя более широкий выбор аппаратного обеспечения графических процессоров и открытый программный стек ROCm для оптимизированной производительности и масштабируемости. AMD продолжит оптимизировать производительность DeepSeek-v3 с помощью ядер на основе CK-tile на графических процессорах AMD Instinct. AMD стремится сотрудничать с поставщиками моделей с открытым исходным кодом для ускорения инноваций в области ИИ и предоставления разработчикам возможности создавать следующее поколение возможностей ИИ.

Acknowledgement:
Мы искренне ценим исключительную поддержку и тесное сотрудничество с командами DeepSeek и SGLang. Особая благодарность членам команды AMD Пэн Сану, Брюсу Сюэ, Хай Сяо, Дэвиду Ли, Карлусу Хуану, Минтао Гу, Вамси Алле, Джейсону Ф., Винаяку Гоку, Вун-го Хуану, Кэролайн Кан, Гилберту Лею, Соге Линь, Цзиннин Тану, Фань Ву, Джорджу Вану, Аншулу Гупте, Шуцаю Сяо, Лисюню Чжану и всем остальным, кто внес свой вклад в это начинание.

Источник: Techpowerup.com