Baidu открыла исходный код модели Wenxin 4.5 и начала сотрудничество с Loongson

Корпорация Baidu открыла исходный код серии моделей искусственного интеллекта Wenxin 4.5, выпущенных два месяца назад. В пакет вошли 10 моделей, включая MoE-модель (Mixture of Experts) с 47 млрд и 3 млрд параметров, а также плотную модель с 0,3 млрд параметров.

В первый же день открытия кода компания Loongson Technology объявила о начале технического сотрудничества с Baidu на базе нового процессора Loongson 3C6000. Стороны будут совместно работать над интеграцией отечественных вычислительных мощностей и технологий больших моделей, создавая безопасные решения на «китайских чипах» для промышленного применения ИИ.

Модели Wenxin 4.5 были обучены с использованием фреймворка PaddlePaddle. В ходе предварительного обучения больших языковых моделей коэффициент использования операций с плавающей запятой (MFU) достиг 47%. Тесты показали, что серия Wenxin 4.5 демонстрирует наилучшие результаты (SOTA) в различных текстовых и мультимодальных тестах, особенно в задачах следования инструкциям, запоминания знаний, визуального понимания и мультимодального анализа.

Сотрудничество Loongson 3C6000 с открытыми моделями Wenxin 4.5 знаменует собой прорыв процессоров Loongson в области ИИ-вычислений. В будущем компании планируют расширять применение больших моделей в производственных сценариях, способствуя развитию отечественной экосистемы ИИ.

Процессоры Loongson 3C6000 отличаются высокой производительностью, надежностью и безопасностью. Они используют собственную архитектуру LoongArch и производственный процесс. Чип поддерживает до 16 ядер и 32 потоков на одном кристалле, с возможностью объединения до четырех кристаллов (максимум 64 ядра/128 потоков на чип) и создания систем с 128 ядрами и 256 потоками.

Серия 3C6000 подходит для различных сценариев вычислений, включая искусственный интеллект, хранение данных, промышленный контроль и рабочие станции, и получила сертификацию безопасности второго уровня (наивысшего на данный момент).