Графические процессоры Moore Threads эффективны с DeepSeek

Одним из достижений моделей искусственного интеллекта с открытым исходным кодом DeepSeek является то, что их можно запускать локально с использованием относительно недорогого оборудования, например Raspberry Pi.
Как оказалось, модели DeepSeek V3 и R1 могут работать даже на графических процессорах Moore Threads, разработанных в Китае, сообщает ITHome. Если это правда, это большое достижение для DeepSeek, разработчика оборудования, и Китая, поскольку это потенциально открывает новые двери для Moore Threads и снижает зависимость DeepSeek и Китая от оборудования Nvidia.

Moore Threads, как сообщается, заявила, что успешно развернула очищенную модель DeepSeek-R1-Distill-Qwen-7B на собственной клиентской видеокарте MTT S80 и видеокартах MTT S4000 уровня центра обработки данных. Компания использовала облегченную структуру Ollama, которая позволяет пользователям запускать большие языковые модели непосредственно на своих компьютерах MacOS, Linux и Windows, а также оптимизированный механизм вывода для достижения «высокой» производительности.

Хотя в отчете заявлены «отличные» и «высокие» характеристики производительности MTT S80 и MTT S4000 с очищенной моделью DeepSeek-R1-Distill-Qwen-7B, в нем не указаны фактические показатели производительности или не проводятся сравнения с другим оборудованием. Поэтому невозможно оценить эти утверждения. Кроме того, учитывая тот факт, что MTT S80 практически недоступен за пределами Китая, их невозможно проверить.

Официально Ollama не поддерживает графические процессоры Moore Threads, но компания утверждает, что ее графические процессоры могут выполнять код, скомпилированный для графических процессоров CUDA. Результаты подтвердили, что графические процессоры Moore Threads действительно совместимы с CUDA и подходят для рабочих нагрузок ИИ, особенно в приложениях на китайском языке.

Для дальнейшего повышения производительности Moore Threads использовала фирменный механизм вывода с пользовательскими вычислительными оптимизациями и улучшенным управлением памятью. Эта программно-аппаратная интеграция значительно повышает производительность вычислений и эффективность ресурсов, а также обеспечивает плавный процесс развертывания и поддержку будущих моделей ИИ, согласно отчету. Конечно, мы говорим о дистиллированной модели, поэтому на данный момент мы не можем реально сравнивать производительность графических процессоров Moore Threads с производительностью решений от AMD, Apple или Nvidia.

Источник: Tomshardware.com