MangoBoost достигает рекордных результатов MLPerf Inference v5.0 с AMD Instinct MI300X
Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ.
Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами.
Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия
Читайте также:Shuttle расширяет серию XPC Nano с ускорением ИИ моделью на базе IntelСервер ИИ за 30 тысяч долларов: 7 GPU RTX 5090Lightmatter создала суперчип с фотонным ИИ-соединениемAyar Labs представляет первый в мире оптический чипсет UCIe для масштабируемых архитектур ИИКрах китайских центров обработки данных ИИ
Програ́ммное обеспе́чение (допустимо также произношение обеспече́ние) (ПО) — программа или множество программ, используемых для управления компьютером (ISO/IEC 26514:2008).
Другие определения из международных и российских стандартов:
совокупность программ системы обработки информации и программных документов, необходимых для эксплуатации этих программ (ГОСТ 19781-90);
все или часть программ, процедур, правил и соответствующей документации системы обработки информации (ISO/IEC 2382-1:1993);
компьютерные программы, процедуры и, возможно, соответствующая документация и данные, относящиеся к функционированию компьютерной системы (IEEE Std 829—2008).Программное обеспечение является одним из видов обеспечения вычислительной системы, наряду с техническим (аппаратным), математическим, информационным, лингвистическим, организационным, методическим и правовым обеспечением.
Академические области, изучающие программное обеспечение, — это информатика и программная инженерия.
В компьютерном сленге часто используется слово «софт», произошедшее от английского слова «software», которое в этом смысле впервые применил в статье журнала American Mathematical Monthly математик из Принстонского университета Джон Тьюки в 1958 году. Википедия
Advanced Micro Devices, Inc. (AMD, дословный перевод с англ. — «передовые микроустройства») — производитель интегральной микросхемной электроники. Второй по объему производства и продаж производитель процессоров архитектуры x86 c долей рынка 16,9 %▲(2014), а также один из крупнейших производителей графических процессоров (после приобретения ATI Technologies в 2006 году), чипсетов для материнских плат и флеш-памяти. Компания с 2009 года не имеет собственного производства и размещает заказы на мощностях других компаний. Википедия
Читайте также:AMD готовит видеокарту Radeon RX 9070 GRE 12 ГБ для КитаяВидеокарты AMD Radeon RX 9070 GRE 12 ГБ предположительно находятся в разработкеRyzen 9000: проблемы совместимости, нужен обновлённый BIOSMicrosoft Copilot+ становится более полезным на компьютерах AMD и IntelСерия APU для настольных ПК AMD «Ryzen 9000G» запланирована на 4 квартал 2025 года
Hopper — микроархитектура профессиональных графических процессоров класса Server/Datacenter представленная в марте 2022 года, и разработанная корпорацией NVIDIA Corporation в качестве преемника микроархитектуры Ampere. Она названа в честь Грейс Мюррей Хоппер (англ. Grace Murray Hopper) — американской учёной в области информатики и контр-адмирала Военно-морских сил США, которая была одной из первых программистов компьютера Марк I. Микроархитектура Hopper с тензорными ядрами была анонсирована в конце марта 2022 года и впервые появилась в ускорителе GPGPU-вычислений уровня дата-центра NVIDIA H100 с 80 Гбайт HBM3 памяти, который содержит порядка 80 млрд транзисторов. Ускорители NVIDIA H100 например используются в HPC-серверах Nvidia DGX H100 для машинного обучения систем искусственного интеллекта. Википедия
Непревзойденная производительность и экономичность
Представленный MangoBoost MLPerf демонстрирует 24%-ное преимущество в производительности по сравнению с лучшим опубликованным результатом MLPerf от Juniper Networks, использующим 32 графических процессора NVIDIA H100. Mango LLMBoost достиг 103 182 токенов в секунду (TPS) в автономном сценарии и 93 039 TPS в серверном сценарии на графических процессорах AMD MI300X, превзойдя предыдущий лучший результат в 82 749 TPS на графических процессорах NVIDIA H100. Помимо превосходной производительности, Mango LLMBoost + MI300X предлагает значительные преимущества в стоимости. При стоимости графических процессоров AMD MI300X от 15 000 до 17 000 долларов США — по сравнению со стоимостью графических процессоров NVIDIA H100 в размере 32 000–40 000 долларов США (источник: Tom's Hardware —H100 vs. MI300X Pricing) — Mango LLMBoost обеспечивает экономию до 62% при сохранении ведущей в отрасли пропускной способности вывода.
С точки зрения экономической эффективности система Mango LLMBoost + MI300X обеспечивает примерно в 2,8 раза большую пропускную способность вывода на каждые 1000 долларов США, чем система на базе H100, что делает ее очевидным выбором для высокопроизводительных развертываний с ограниченным бюджетом.
Mango LLMBoost: масштабируемое и аппаратно-гибкое решение MLOps
Mango LLMBoost — это программное обеспечение для вывода искусственного интеллекта корпоративного уровня, которое обеспечивает бесшовную масштабируемость и кроссплатформенную совместимость. Оно поддерживает более 50 открытых моделей, включая Llama, Qwen и DeepSeek, с однострочным развертыванием через Docker и встроенными API, совместимыми с OpenAI. Программное обеспечение готово к использованию в облаке — доступно на AWS Marketplace, Microsoft Azure Marketplace и Google Cloud Platform — а также доступно для локального развертывания для предприятий, которым требуется полный контроль и безопасность.
Ключевые возможности Mango LLMBoost включают в себя:
- Автоматическое распараллеливание — эффективно распределяет большие модели по графическим процессорам и узлам.
- Автоматическая настройка конфигурации — оптимизирует параметры выполнения на основе характеристик рабочей нагрузки.
- Автоматическое масштабирование контекста — динамически адаптирует использование памяти для максимального использования графического процессора.
- Автоматическое дезагрегированное развертывание — обеспечивает гибкое развертывание на нескольких этапах вывода.
Сотрудничество с AMD: раскрытие полного потенциала графических процессоров MI300X
Рекордные результаты MangoBoost были достигнуты благодаря тесному партнерству с AMD, использующей программный стек ROCm для максимизации производительности графического процессора MI300X. Это сотрудничество привело к масштабируемому и эффективному решению для вывода ИИ, которое можно легко развернуть в кластерах с одним или несколькими узлами.
Распространение лидерства в производительности на AWS и за его пределами
Помимо результатов MLPerf, Mango LLMBoost был тщательно протестирован на различных облачных и локальных конфигурациях. На установке 8×NVIDIA A100 GPU из AWS Mango LLMBoost достиг до 138 раз более быстрого вывода по сравнению с Ollama и значительно превзошел HuggingFace TGI и vLLM на нескольких размерах моделей, включая LLaMA3.1-70B, DeepSeek-R1-Distill-Qwen-32B и LLaMA3.1-8B. С точки зрения экономической эффективности Mango LLMBoost также лидирует с самой низкой стоимостью GPU на миллион токенов, снижая стоимость вывода более чем на 99% по сравнению с Ollama и более чем на 30% даже по сравнению с vLLM на высокопроизводительных рабочих нагрузках.
Расширение решений инфраструктуры ИИ
Помимо программного обеспечения Mango LLMBoost, MangoBoost предлагает решения по аппаратному ускорению на основе блоков обработки данных (DPU) для улучшения ИИ и облачной инфраструктуры, включая:
- Mango GPUBoost — ускорение RDMA для многоузлового вывода и обучения через RoCEv2.
- Mango NetworkBoost — разгрузка стека TCP/IP для повышения эффективности ЦП.
- Mango StorageBoost — высокопроизводительные инициаторы и целевые решения NVMe/TCP для масштабируемого хранилища ИИ.
Источник: MangoBoost PR
0 комментариев