Intel представляет результаты Gaudi 2 по новейшему тесту MLCommons

«У отрасли есть очевидная потребность: устранить пробелы в современных корпоративных предложениях по генеративному искусственному интеллекту с помощью высокопроизводительных и высокоэффективных вычислительных возможностей. Последние результаты MLPerf, опубликованные MLCommons, иллюстрируют уникальную ценность, которую Intel Gaudi привносит на рынок, поскольку предприятия и клиенты ищут больше экономически эффективные, масштабируемые системы со стандартными сетевыми возможностями и открытым программным обеспечением, что делает GenAI более доступным для большего числа клиентов», — сказал Зейн Болл, корпоративный вице-президент Intel и генеральный менеджер DCAI Product Management.

Все больше клиентов хотят воспользоваться преимуществами GenAI, но не могут этого сделать из-за стоимости, масштаба и требований к разработке. Поскольку в прошлом году только 10% предприятий успешно запустили проекты GenAI в производство, предложения Intel в области искусственного интеллекта решают проблемы, с которыми предприятия сталкиваются при масштабировании инициатив в области искусственного интеллекта. Intel Gaudi 2 — это доступное масштабируемое решение, доказавшее свою способность легко обучать большие языковые модели (LLM) от 70 до 175 миллиардов параметров. Ускоритель Intel Gaudi 3, который скоро будет выпущен, обеспечит скачок в производительности, а также открытость и возможность выбора для корпоративного GenAI.

Результаты MLPerf показывают, что Gaudi 2 по-прежнему остается единственной альтернативой Nvidia H100 для вычислений с использованием искусственного интеллекта, проверенной MLPerf. Результаты обучения Intel в облаке разработчиков Tiber GPT-3 со временем обучения (TTT) 66,9 минут в системе искусственного интеллекта, состоящей из 1024 ускорителей Gaudi, доказывают высокую производительность масштабирования Gaudi 2 на сверхбольших LLM в облачной среде разработчиков.

В наборе тестов было новое измерение: точная настройка модели параметров Llama 2 70B с использованием адаптеров низкого ранга (LoRa). Точная настройка LLM — обычная задача для многих клиентов и специалистов по искусственному интеллекту, что делает ее актуальным эталоном для повседневных приложений. По данным Intel, время обучения на восьми ускорителях Gaudi 2 составило 78,1 минуты. Для отправки данных Intel использовала программное обеспечение с открытым исходным кодом от Optimum Habana, используя Zero-3 от DeepSpeed для оптимизации эффективности использования памяти и масштабирования во время обучения больших моделей, а также Flash-Attention-2 для ускорения механизмов внимания. Целевая группа по тестированию производительности, возглавляемая командами инженеров из Intel Habana Labs и Hugging Face, отвечает за эталонный код и правила тестирования.

Как Intel Gaudi предоставляет клиентам преимущества в области искусственного интеллекта: на сегодняшний день высокие затраты вынудили слишком много предприятий уйти с рынка. Гауди начинает это менять. На выставке Computex компания Intel объявила, что стандартный комплект искусственного интеллекта, включающий восемь ускорителей Intel Gaudi 2 с универсальной базовой платой (UBB), предлагаемый системным поставщикам за 65 000 долларов США, по оценкам, составляет одну треть стоимости сопоставимых конкурирующих платформ. Комплект, включающий восемь ускорителей Intel Gaudi 3 с UBB, стоит 125 000 долларов, что, по оценкам, составляет две трети стоимости сопоставимых конкурирующих платформ.

Доказательством тому является возрастающий импульс. Клиенты используют Гауди из-за преимуществ, которые он приносит с соотношением цены и качества и доступности, в том числе:

• Naver, южнокорейский поставщик облачных услуг и ведущая поисковая система, обслуживающая более 600 миллионов пользователей, создает новую экосистему искусственного интеллекта и снижает барьеры, чтобы обеспечить широкомасштабное внедрение LLM, сокращая затраты на разработку и сроки реализации проектов для своих клиентов.
• AI Швеция, альянс между правительством Швеции и частным бизнесом, использует Гауди для точной настройки муниципального контента, специфичного для конкретной области, для повышения операционной эффективности и улучшения государственных услуг для избирателей Швеции.

По данным CIO.com, Seekr отметил экономию средств от 40% до 400% от Tiber Developer Cloud для некоторых рабочих нагрузок ИИ по сравнению с локальными системами с графическими процессорами другого поставщика и другим поставщиком облачных услуг, а также на 20% более быстрое обучение ИИ. и на 50 % более быстрый вывод ИИ, чем локально.

Что дальше: Intel представит результаты MLPerf на основе искусственного интеллекта Intel Gaudi 3 в предстоящем тесте вывода. По прогнозам, ускорители Intel Gaudi 3 обеспечат скачок в производительности обучения искусственного интеллекта и получения выводов на популярных LLM и мультимодальных моделях и будут доступны у производителей оригинального оборудования осенью 2024 года.

Источник: Techpowerup.com