AMD выпустила инструкции для DeepSeek

DeepSeek R1, как утверждается, только недавно был преобразован в «высокоэффективные» меньшие модели, достаточно малые для работы на потребительском оборудовании. Модель DeepSeek-V3 изначально обучалась на кластере из 2048 графических процессоров Nvidia H800 для контекста.

Максимально поддерживаемые параметры LLM основаны на объеме памяти. RX 7600 XT, 7700 XT, 7800 XT, 7900 GRE и 7900 XT поддерживают до «DeepSeek-R1-Distill-Qwen-14B». Флагманская модель RX 7900 XTX поддерживает до «DeepSeek-R1-Distill-Qwen-32B». RX 7600 с 8 ГБ VRAM поддерживает до «DeepSeek-R1-Distill-Llama-8B».

Аналогично мобильные APU серий Ryzen 8040 и 7040 оснащены 32 ГБ ОЗУ, а Ryzen AI HX 370 и 365 с 24 ГБ и 32 ГБ ОЗУ могут поддерживать до «DeepSeek-R1-Distill-Llama-14B». Ryzen AI Max+ 395 может поддерживать до «DeepSeek-R1-Distill-Llama-70B», но только с объемом памяти 128 ГБ и 64 ГБ. 32 ГБ поддерживают до «DeepSeek-R1-Distill-Qwen-32B».

Новая модель искусственного интеллекта DeepSeek покорила мир, поскольку ее вычислительная стоимость в 11 раз ниже, чем у передовых моделей. Два дня назад она была единственной причиной рекордной потери рыночной капитализации Nvidia в размере 589 миллиардов долларов. Модель DeepSeek R1 полагается на экстремальные уровни оптимизации, чтобы обеспечить 11-кратный рост эффективности, полагаясь на программирование Parallel Thread Execution (PTX) Nvidia, похожее на сборку, для большей части роста производительности.

Графические процессоры Nvidia и AMD — не единственные графические процессоры, которые могут работать с R1; Huawei уже реализовала поддержку DeepSeek в своих графических процессорах Ascend AI, что обеспечивает производительное выполнение ИИ-задач на отечественном китайском оборудовании.

Источник: Tomshardware.com