Графические процессоры Moore Threads эффективны с DeepSeek
Одним из достижений моделей искусственного интеллекта с открытым исходным кодом DeepSeek является то, что их можно запускать локально с использованием относительно недорогого оборудования, например Raspberry Pi.
Как оказалось, модели DeepSeek V3 и R1 могут работать даже на графических процессорах Moore Threads, разработанных в Китае, сообщает ITHome. Если это правда, это большое достижение для DeepSeek, разработчика оборудования, и Китая, поскольку это потенциально открывает новые двери для Moore Threads и снижает зависимость DeepSeek и Китая от оборудования Nvidia.
Moore Threads, как сообщается, заявила, что успешно развернула очищенную модель DeepSeek-R1-Distill-Qwen-7B на собственной клиентской видеокарте MTT S80 и видеокартах MTT S4000 уровня центра обработки данных. Компания использовала облегченную структуру Ollama, которая позволяет пользователям запускать большие языковые модели непосредственно на своих компьютерах MacOS, Linux и Windows, а также оптимизированный механизм вывода для достижения «высокой» производительности.
Хотя в отчете заявлены «отличные» и «высокие» характеристики производительности MTT S80 и MTT S4000 с очищенной моделью DeepSeek-R1-Distill-Qwen-7B, в нем не указаны фактические показатели производительности или не проводятся сравнения с другим оборудованием. Поэтому невозможно оценить эти утверждения. Кроме того, учитывая тот факт, что MTT S80 практически недоступен за пределами Китая, их невозможно проверить.
NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия
Читайте также:Supermicro начинает выпуск стоечных решений NVIDIA BlackwellКитай снова расследует Google и NvidiaHuawei Ascend 910C, как утверждается, на 60% быстрее Nvidia H100ASUS AI POD готов к массовому производствуОтчеты о сбоях в работе NVIDIA GeForce RTX 5090 и RTX 5090D Surge
Advanced Micro Devices, Inc. (AMD, дословный перевод с англ. — «передовые микроустройства») — производитель интегральной микросхемной электроники. Второй по объему производства и продаж производитель процессоров архитектуры x86 c долей рынка 16,9 %▲(2014), а также один из крупнейших производителей графических процессоров (после приобретения ATI Technologies в 2006 году), чипсетов для материнских плат и флеш-памяти. Компания с 2009 года не имеет собственного производства и размещает заказы на мощностях других компаний. Википедия
Читайте также:Генеральный директор AMD подтвердила, что серия RX 9070 поступит в продажу в начале мартаAMD Ryzen 5 7400F De-Lid демонстрирует термопасту вместо STIMAMD обогнала Intel по продажам в сфере ЦОДRyzen 7 9800X3D — лидер продаж среди Zen 5В январе доля процессоров AMD на рынке компьютерной техники в Германии составляла 92%
Официально Ollama не поддерживает графические процессоры Moore Threads, но компания утверждает, что ее графические процессоры могут выполнять код, скомпилированный для графических процессоров CUDA. Результаты подтвердили, что графические процессоры Moore Threads действительно совместимы с CUDA и подходят для рабочих нагрузок ИИ, особенно в приложениях на китайском языке.
Для дальнейшего повышения производительности Moore Threads использовала фирменный механизм вывода с пользовательскими вычислительными оптимизациями и улучшенным управлением памятью. Эта программно-аппаратная интеграция значительно повышает производительность вычислений и эффективность ресурсов, а также обеспечивает плавный процесс развертывания и поддержку будущих моделей ИИ, согласно отчету. Конечно, мы говорим о дистиллированной модели, поэтому на данный момент мы не можем реально сравнивать производительность графических процессоров Moore Threads с производительностью решений от AMD, Apple или Nvidia.
Источник: Tomshardware.com
0 комментариев