Intel представила важное обновление Project Battlematrix и выпустила LLM Scaler 1.0

Корпорация Intel опубликовала важное обновление по проекту Battlematrix — инициативе по созданию масштабируемых и доступных рабочих станций для задач искусственного интеллекта, анонсированной в мае на выставке Computex 2025. Проект призван ускорить реализацию стратегии Intel в области ИИ за счёт оптимизированного программного стека, предназначенного для работы с видеокартами Intel Arc Pro B-series «Battlemage». Новый стек предлагает удобный интерфейс, соответствие отраслевым стандартам и контейнерное решение для Linux, обеспечивая высокую производительность при обработке ИИ-запросов с поддержкой масштабирования на нескольких GPU.

Среди ключевых особенностей Battlematrix — корпоративный уровень надёжности, включая контроль ошибок (ECC), виртуализацию ввода-вывода (SR-IOV), телеметрию и удалённое обновление прошивок. Эти улучшения направлены на упрощение работы с ресурсоёмкими ИИ-задачами для разработчиков и предприятий.

Важным этапом стал релиз LLM Scaler 1.0 — контейнерного решения, позволяющего бизнес-пользователям тестировать технологии Intel в раннем доступе. Обновление основано на фреймворке vLLM и демонстрирует значительный прирост производительности: до 1.8× в скорости обработки длинных последовательностей (свыше 4K токенов) для 32B-моделей и впечатляющие 4.2× для 70B-моделей с последовательностями в 40K токенов. Дополнительные оптимизации обеспечивают 10%-ный рост пропускной способности для моделей 8B-32B по сравнению с предыдущими версиями.

Среди новых возможностей — поддержка мультимодальных моделей, автоматическое определение максимальной длины последовательностей, инструменты мониторинга памяти и управления питанием GPU через XPU Manager. Intel подтверждает соблюдение графика, объявленного в мае: доработанная версия LLM Scaler с расширенным функционалом ожидается в конце третьего квартала, а полноценный релиз запланирован на четвёртый квартал 2025 года.

Контейнер LLM Scaler 1.0 уже доступен для загрузки на GitHub.

Источник: Techpowerup.com