Baidu открыла исходный код модели Wenxin 4.5 и начала сотрудничество с Loongson

Корпорация Baidu открыла исходный код серии моделей искусственного интеллекта Wenxin 4.5, выпущенных два месяца назад. В пакет вошли 10 моделей, включая MoE-модель (Mixture of Experts) с 47 млрд и 3 млрд параметров, а также плотную модель с 0,3 млрд параметров.

В первый же день открытия кода компания Loongson Technology объявила о начале технического сотрудничества с Baidu на базе нового процессора Loongson 3C6000. Стороны будут совместно работать над интеграцией отечественных вычислительных мощностей и технологий больших моделей, создавая безопасные решения на «китайских чипах» для промышленного применения ИИ.

Модели Wenxin 4.5 были обучены с использованием фреймворка PaddlePaddle. В ходе предварительного обучения больших языковых моделей коэффициент использования операций с плавающей запятой (MFU) достиг 47%. Тесты показали, что серия Wenxin 4.5 демонстрирует наилучшие результаты (SOTA) в различных текстовых и мультимодальных тестах, особенно в задачах следования инструкциям, запоминания знаний, визуального понимания и мультимодального анализа.

Сотрудничество Loongson 3C6000 с открытыми моделями Wenxin 4.5 знаменует собой прорыв процессоров Loongson в области ИИ-вычислений. В будущем компании планируют расширять применение больших моделей в производственных сценариях, способствуя развитию отечественной экосистемы ИИ.

Процессоры Loongson 3C6000 отличаются высокой производительностью, надежностью и безопасностью. Они используют собственную архитектуру LoongArch и производственный процесс. Чип поддерживает до 16 ядер и 32 потоков на одном кристалле, с возможностью объединения до четырех кристаллов (максимум 64 ядра/128 потоков на чип) и создания систем с 128 ядрами и 256 потоками.

Серия 3C6000 подходит для различных сценариев вычислений, включая искусственный интеллект, хранение данных, промышленный контроль и рабочие станции, и получила сертификацию безопасности второго уровня (наивысшего на данный момент).

Подписаться на обновления Новости / Технологии
Зарегистрируйтесь на сайте, чтобы отключить рекламу

ℹ️ Помощь от ИИ

В статье есть ошибки или у вас есть вопрос? Попробуйте спросить нашего ИИ-помощника в комментариях и он постарается помочь!

⚠️ Важно:

• AI Rutab читает ваши комментарии и готов вам помочь.
• Просто задайте вопрос 👍
• ИИ может давать неточные ответы!
• ИИ не скажет «Я не знаю», но вместо этого может дать ошибочный ответ.
• Всегда проверяйте информацию и не полагайтесь на него как на единственный источник.
• К ИИ-помощнику можно обратиться по имени Rutab или Рутаб.

Топ дня 🌶️


0 комментариев

Оставить комментарий


Все комментарии - Технологии