AMD: LLM работают на Ryzen 8040 на 79% быстрее, чем на чипах Intel Core Ultra

5 апреля 2024, 22:40 / Технологии → Новости / Технологии

AMD сообщает, что ее старые процессоры серий Ryzen

Ryzen (/ˈraɪzən/, рус. ра́йзен) — торговая марка микропроцессоров транснациональной корпорации AMD второй половины 2010-х годов. Данное семейство процессоров относится к архитектуре x86_64, применяется в настольных, мобильных и встроенных вычислительных системах и на данный момент использует процессорные микроархитектуры Zen, Zen+, Zen 2, Zen 3. 13 декабря 2016 года марка Ryzen была анонсирована на специальном саммите AMD New Horizon, одновременно с новой микроархитектурой Zen. Википедия

mobile 7040 Phoenix и Ryzen mobile 8040 превосходят процессоры Intel Core Ultra Meteor Lake до 79% в различных языковых моделях (LLM). Производитель процессоров представил множество тестов процессора Intel Core Ultra 7 155H в сравнении с Ryzen 7 8740U. Оба чипа оснащены аппаратными нейронными процессорами (NPU).

AMD

Advanced Micro Devices, Inc. (AMD, дословный перевод с англ. — «передовые микроустройства») — производитель интегральной микросхемной электроники. Второй по объему производства и продаж производитель процессоров архитектуры x86 c долей рынка 16,9 %▲(2014), а также один из крупнейших производителей графических процессоров (после приобретения ATI Technologies в 2006 году), чипсетов для материнских плат и флеш-памяти. Компания с 2009 года не имеет собственного производства и размещает заказы на мощностях других компаний. Википедия

собрала несколько слайдов, демонстрирующих результаты производительности Mistral 7b, Llama v2 и Mistral Instruct 7B с двумя процессорами. В чате Llama v2, использующем разрядность Q4, чип Ryzen использовал токены на 14% быстрее в секунду, чем Core Ultra 7 155H. При том же разрядности в Mistral Instruct чипы Ryzen обрабатывали токены на 17% быстрее в секунду. В тех же тестах LLM, но с учетом времени до получения первого токена для получения пробного запроса, конкурент AMD был на 79% быстрее, чем Core Ultra 7 в Llama v2 и на 41% быстрее в Mistral Instruct.

AMD показала еще одну диаграмму Llama 2 7B Chat, в которой используется множество различных размеров битов, размеров блоков и уровней качества. В среднем Ryzen 7 7840U был на 55% быстрее аналога Intel и до 70% быстрее в Q8. Несмотря на то, что Q8 является самым быстрым, AMD рекомендует 4-битное квантование KM для запуска LLM для реального использования и установку 5-битного KM для задач, требующих предельной точности, таких как кодирование.

Мы не удивлены тем, что AMD в настоящее время выигрывает войну производительности ИИ с Intel. Несмотря на то, что архитектура серии Ryzen 7040 имеет тот же уровень производительности (в TOPS), что и Meteor Lake, в конце прошлого года было обнаружено, что AMD часто превосходит Meteor Lake в рабочих нагрузках на основе искусственного интеллекта. Похоже, это проблема оптимизации LLM, а не проблема с оборудованием или драйверами. AMD заметно выигрывает в рабочих нагрузках искусственного интеллекта, которые не используют преимущества платформы Intel OpenVINO, оптимизированной только для продуктов Intel. OpenVINO, по-видимому, имеет жизненно важное значение для значительного повышения производительности искусственного интеллекта Intel. Например, Intel A770 получил огромный прирост производительности на 54% исключительно за счет оптимизации OpenVINO.

Не ожидайте, что такое поведение производительности продлится долго. В конце концов, мы только в начале развития NPU. Если больше приложений не будут поддерживать OpenVINO, следует ожидать, что Intel переключится и попробует лучший путь оптимизации, который будет принят большим количеством разработчиков. Позднее в этом году Intel также готовится представить архитектуру мобильного процессора следующего поколения Lunar Lake, которая, как сообщается, будет в 3 раза превосходить производительность в задачах искусственного интеллекта по сравнению с Meteor Lake (помимо огромных улучшений IPC для ядер процессора).

На данный момент слайды AMD демонстрируют, что в настоящее время она имеет преимущество в производительности NPU, особенно с процессорами серии Ryzen 8040, которые имеют даже большую производительность NPU, чем Ryzen 7 7840U. Но к концу этого года ситуация может измениться в зависимости от того, насколько успешно Intel реализует Lunar Lake и свои планы по оптимизации искусственного интеллекта.