Ryzen AI 300 одерживает большую победу над Intel в производительности LLM AI

Большинство тестов AMD были выполнены в LM Studio, настольном приложении для загрузки и локального размещения LLM. Программное обеспечение, созданное на основе библиотеки кода llama.cpp, позволяет использовать ускорение CPU и/или GPU для питания LLM и предлагает другой контроль над функциональностью моделей.

Используя варианты 1b и 3b моделей Llama 3.2 от Meta, Microsoft Phi 3.1 4k Mini Instruct 3b, Gemma 2 9b от Google и Nemo 2407 12b от Mistral, AMD протестировала ноутбуки на базе флагманского процессора AMD Ryzen AI 9 HX 375 против процессора Intel Core Ultra 7 258V среднего класса. Пара ноутбуков была протестирована друг против друга, измеряя скорость в токенах в секунду и ускорение во времени, необходимом для генерации первого токена, что примерно соответствует количеству слов, выводимых на экран в секунду, и времени буферизации между отправкой запроса и началом вывода LLM.

(Изображение предоставлено: AMD)

(Изображение предоставлено: AMD)

Как видно из графиков выше, Ryzen AI 9 HX 375 демонстрирует лучшую производительность, чем Core Ultra 7 258V во всех пяти протестированных LLM, как по скорости, так и по времени начала вывода текста. В своем самом доминирующем состоянии чип AMD демонстрирует на 27% более высокую скорость, чем Intel. Неизвестно, какие ноутбуки использовались для вышеуказанных тестов, но AMD поспешила упомянуть, что протестированный ноутбук AMD работал с более медленной оперативной памятью, чем машина Intel — 7500 MT/с против 8533 MT/с — когда более быстрая оперативная память обычно соответствует лучшей производительности LLM.

Следует отметить, что процессор Intel Ultra 7 258V не совсем в равных условиях с HX 375; 258V находится в середине линейки Intel 200-й серии с максимальной турбочастотой 4,8 ГГц против 5,1 ГГц у HX 375. Решение AMD противопоставить свой флагманский чип Strix Point чипу Intel среднего уровня выглядит немного несправедливым, поэтому принимайте во внимание заявления об улучшении на 27%.

AMD также продемонстрировала возможности ускорения GPU LM Studio в тестах, демонстрирующих HX 375 против самого себя. В то время как выделенный NPU в ноутбуках серии Ryzen AI 300 призван быть движущей силой в задачах ИИ, задачи ИИ на уровне программ по требованию более склонны использовать iGPU. Тесты AMD с ускорением GPU с использованием API Vulkan в LM Studio так сильно отдали предпочтение HX 375, что AMD не включила показатели производительности Intel с включенным ускорением GPU. С включенным ускорением GPU Ryzen AI 9 HX 375 показал до 20% более высокую производительность tk/s, чем при выполнении задач без ускорения GPU.

С таким количеством прессы вокруг компьютеров, основанных на производительности ИИ, поставщики стремятся доказать, что ИИ важен для конечного пользователя. Такие приложения, как LM Studio или AI Playground от Intel, делают все возможное, чтобы предложить удобный и надежный способ использования последних 1 миллиарда итераций LLM для личного использования. Имеет ли значение для большинства пользователей большие языковые модели и получение максимальной отдачи от вашего компьютера для использования LLM — это уже другая история.

Источник: Tomshardware.com