AMD Ryzen AI 9 HX 375 превосходит Intel Core Ultra 7 258V по производительности LLM

1 ноября 2024, 18:45 / Технологии → Новости / Технологии

AMD утверждает, что ее предложения Ryzen

Ryzen (/ˈraɪzən/, рус. ра́йзен) — торговая марка микропроцессоров транснациональной корпорации AMD второй половины 2010-х годов. Данное семейство процессоров относится к архитектуре x86_64, применяется в настольных, мобильных и встроенных вычислительных системах и на данный момент использует процессорные микроархитектуры Zen, Zen+, Zen 2, Zen 3. 13 декабря 2016 года марка Ryzen была анонсирована на специальном саммите AMD New Horizon, одновременно с новой микроархитектурой Zen. Википедия

AI 300 (кодовое название Strix Point) могут легко превзойти новейшие процессоры Intel

Thumbnail: Intel «И́нтел» («Intel Corp.», МФА: [ˈɪntɛl ˌkɔːpə'reɪʃən]) — производитель электронных устройств и компьютерных компонентов (включая микропроцессоры, наборы системной логики (чипсеты) и др). Штаб-квартира — в Санта-Кларе (США, штат Калифорния). Википедия

Core Ultra 200V (кодовое название Lunar Lake) в потребительских рабочих нагрузках LLM. Команда Red продемонстрировала несколько диаграмм, сравнивающих производительность процессоров обеих линеек, причем AMD

Advanced Micro Devices, Inc. (AMD, дословный перевод с англ. — «передовые микроустройства») — производитель интегральной микросхемной электроники. Второй по объему производства и продаж производитель процессоров архитектуры x86 c долей рынка 16,9 %▲(2014), а также один из крупнейших производителей графических процессоров (после приобретения ATI Technologies в 2006 году), чипсетов для материнских плат и флеш-памяти. Компания с 2009 года не имеет собственного производства и размещает заказы на мощностях других компаний. Википедия

опережает их более чем на 27%.

С момента бума ИИ технологические гиганты — как на аппаратном, так и на программном фронте — вступили в гонку вооружений, чтобы превзойти друг друга в ландшафте ИИ. Хотя большая часть этого делается исключительно для кавычек-без-кавычек «хайпа вокруг ИИ», выгоды для основных клиентов начинают материализоваться. Microsoft

Microsoft Corporation (произносится «ма́йкрософт»; как правило, именуется просто Microsoft; распространено сокращение MS) — одна из крупнейших транснациональных компаний по производству проприетарного программного обеспечения для различного рода вычислительной техники — персональных компьютеров, игровых приставок, КПК, мобильных телефонов и прочего, разработчик наиболее широко распространённой на данный момент в мире программной платформы — семейства операционных систем Windows. Подразделения компании также производят семейство игровых консолей Xbox, а также аксессуары для персональных компьютеров (клавиатуры, мыши и т. д.). C 2012 года производит собственный планшетный компьютер — Surface. Википедия

требует минимум 40 TOPS для любой системы, чтобы считаться «ПК-пилотом+». Почти каждый производитель ЦП теперь резервирует ценное кремниевое пространство для нейронного процессора (NPU).

В связи с этим AMD заявляет, что ее APU Strix Point, по-видимому, превосходят Intel Lunar Lake при локальном запуске LLM. Типичный потребительский LLM LM Studio запускается на основе фреймворка llama.cpp. Ryzen AI 9 HX 375 опережает Core Ultra 7 258V на 27% в отделе ЦП. Тесты задержки — это настоящая бойня для Intel: по сообщениям, AMD обеспечивает в 3,5 раза более низкую задержку в модели Mistral Nemo 2407 12b Instruct. При переключении на интегрированное графическое решение Radeon 890M iGPU Ryzen AI 9 HX 375 в лучшем случае на 23% быстрее, чем Arc 140V от Intel.

(Изображение предоставлено: AMD)

Интересно, что хотя HX 375 является самым быстрым APU Strix Point, Core Ultra 7 258V таковым не является. Флагманский Core Ultra 9 288V предлагает полный TDP 30 Вт, что сравнительно лучше выравнивает его со Strix Point, поскольку последний может быть сконфигурирован до 54 Вт.

Помимо этого, AMD затем протестировала оба ноутбука в собственном и стороннем AI Playground от Intel, где мы видим AMD впереди на 13,1% с использованием модели Mistral 7b Instruct v0.3. Тест Microsoft Phi 3.1 Mini Instruct немного менее захватывающий, поскольку отрыв падает до 8,7%.

Изображение: AMD

В общем, не каждый день вы включаете свой ноутбук, чтобы запустить локальный LLM, но кто знает, что принесет будущее? Было бы гораздо интереснее увидеть в действии центральный процессор Core Ultra 9 288V, но не ждите кардинально иных результатов. AMD заявляет, что активно работает над тем, чтобы сделать LLM, в настоящее время закрытые множеством технических барьеров, более доступными для всех, что подчеркивает важность таких проектов, как LM Studio.

Источник: Tomshardware.com