AMD: LLM работают на Ryzen 8040 на 79% быстрее, чем на чипах Intel Core Ultra

AMD показала еще одну диаграмму Llama 2 7B Chat, в которой используется множество различных размеров битов, размеров блоков и уровней качества. В среднем Ryzen 7 7840U был на 55% быстрее аналога Intel и до 70% быстрее в Q8. Несмотря на то, что Q8 является самым быстрым, AMD рекомендует 4-битное квантование KM для запуска LLM для реального использования и установку 5-битного KM для задач, требующих предельной точности, таких как кодирование.

Мы не удивлены тем, что AMD в настоящее время выигрывает войну производительности ИИ с Intel. Несмотря на то, что архитектура серии Ryzen 7040 имеет тот же уровень производительности (в TOPS), что и Meteor Lake, в конце прошлого года было обнаружено, что AMD часто превосходит Meteor Lake в рабочих нагрузках на основе искусственного интеллекта. Похоже, это проблема оптимизации LLM, а не проблема с оборудованием или драйверами. AMD заметно выигрывает в рабочих нагрузках искусственного интеллекта, которые не используют преимущества платформы Intel OpenVINO, оптимизированной только для продуктов Intel. OpenVINO, по-видимому, имеет жизненно важное значение для значительного повышения производительности искусственного интеллекта Intel. Например, Intel A770 получил огромный прирост производительности на 54% исключительно за счет оптимизации OpenVINO.

Не ожидайте, что такое поведение производительности продлится долго. В конце концов, мы только в начале развития NPU. Если больше приложений не будут поддерживать OpenVINO, следует ожидать, что Intel переключится и попробует лучший путь оптимизации, который будет принят большим количеством разработчиков. Позднее в этом году Intel также готовится представить архитектуру мобильного процессора следующего поколения Lunar Lake, которая, как сообщается, будет в 3 раза превосходить производительность в задачах искусственного интеллекта по сравнению с Meteor Lake (помимо огромных улучшений IPC для ядер процессора).

На данный момент слайды AMD демонстрируют, что в настоящее время она имеет преимущество в производительности NPU, особенно с процессорами серии Ryzen 8040, которые имеют даже большую производительность NPU, чем Ryzen 7 7840U. Но к концу этого года ситуация может измениться в зависимости от того, насколько успешно Intel реализует Lunar Lake и свои планы по оптимизации искусственного интеллекта.