Тестирование: как ПК Copilot+ справляются с локальными рабочими нагрузками искусственного интеллекта

К сожалению, в настоящее время мы не нашли массу локальных приложений искусственного интеллекта, которые можно было бы запустить на ноутбуках с процессором Snapdragon X. Для компьютеров Copilot+ предусмотрены три эксклюзивные функции Windows: Codesigner, эффекты Windows Studio и живые субтитры с транскрипцией. Независимо от того, считаете ли вы эти функции ценными или нет, их нельзя использовать для целей сравнительного анализа, поскольку они не оставляют повторяемых показателей. Мы могли бы взять секундомер и измерить, сколько времени потребуется Codesigner для создания изображения после ввода подсказки, но даже в этом случае мы не сможем сравнить его с тем же приложением на ПК с процессорами Intel или AMD, поскольку Codesigner является эксклюзивным продуктом. ПК Copilot+ на базе Snapdragon X.

Шепотная транскрипция

В нашем первом тесте использовалась базовая английская модель Whisper AI для расшифровки 12-минутного аудиофайла MP3 в текст. Шепот — один из наиболее практичных вариантов использования локального ИИ, поскольку людям, которые записывают разговоры для работы или учебы — студентам, записывающим лекцию, или журналистам, записывающим интервью, — действительно нужно превратить их в копию. OpenAI создает Whisper, но каждый может бесплатно загрузить его и использовать в своих программах.

Существует множество способов развертывания Whisper, но мы использовали его в специальном скрипте Python, который печатает время до начала транскрипции, выполняет транскрипцию, которую записывает в текстовый файл, а затем записывает время ее завершения. Получив разницу во времени, мы можем определить, насколько быстро каждая система выполняет тест. Мы не оцениваем точность расшифровки, потому что все они используют одну и ту же модель. Если бы мы делали это для собственных нужд, мы бы предпочли использовать модель Whisper Large, которая намного точнее базовой модели, но Qualcomm еще не сделала версию Whisper Large доступной для Snapdragon.

Код немного отличается в версиях сценария для Intel и Arm просто потому, что Intel Meteor Lake использует открытое расширение Ipex для Pytorch для доступа к своему графическому процессору, в то время как Snapdragon X требует поставщика выполнения QNN для среды выполнения ONNX, чтобы разрешить доступ к NPU. Очень важно убедиться, что мы используем правильную среду выполнения, потому что в противном случае наши сценарии отправят работу по транскрипции (или любую другую задачу) на ЦП, когда NPU или GPU выполнят ту же задачу намного быстрее (и с использованием меньшего количества энергии). Запуск рабочей нагрузки ИИ на вашем процессоре всегда является самым медленным вариантом. Однако в нашей предыдущей серии тестов Meteor Lake мы обнаружили, что внутренний графический процессор Intel Arc на самом деле быстрее, чем NPU, а NPU — лучший выбор для процессоров Snapdragon.

На Whisper результаты оказались неоднозначными. Если мы посмотрим только на время, которое потребовалось нашему сценарию Python для расшифровки аудиофайла, ноутбуки Snapdragon работали примерно с той же скоростью, что и их конкуренты Intel, плюс-минус несколько секунд на каждой модели, а время завершения варьировалось от 1:04. на Surface Pro с процессором Snapdragon X до 1:13 на X1 Carbon с процессором Core Ultra 7. В целом ноутбуки Snapdragon были на несколько секунд быстрее, но Surface Laptop 15 потребовалось 1:09, а Acer Swift Go 14 (Core Ultra 7) финишировал за 1:08.

Изображение: Tom's Hardware

Но есть огромный подвох. Используя сценарий Python с инструкциями, которые мне прислали разработчики Qualcomm, системам Snapdragon X требуется дополнительно от 43 до 47 секунд предварительной обработки перед началом транскрипции. Это время уходит на преобразование файла MP3 в мел-спектрограмму перед его передачей в модель Whisper для расшифровки. Если вы посмотрите на скриншот ниже, вы увидите огромный участок графика между строкой «Начало: 1:45:42» и «До транскрипции: 01:46:28».

Изображение: Tom's Hardware

На устройстве Intel это не требуется (возможно, это происходит автоматически), но между запуском нашего сценария Python и началом транскрипции существует задержка от 4 до 7 секунд. Если принять во внимание спектрограммирование, Intel выполнит работу примерно на 40 секунд быстрее.

Генерация стабильного диффузионного изображения

Другая рабочая нагрузка, которую мы тестировали, заключалась в использовании Stable Diffusion 1.5, популярного генератора текста в изображения. Qualcomm до сих пор не придумала в своем AI Hub официального способа использования Stable Diffusion с подсказкой изображения по вашему выбору (вы можете использовать их один образец подсказки), но, к счастью, несколько разработчиков создали плагин Stable Diffusion 1.5 для GIMP., который мы использовали для тестирования. На ноутбуках с процессорами Intel мы могли использовать выбранный нами вариант: Automatic1111. который предоставляет локальный пользовательский интерфейс в вашем браузере для создания подсказок или плагин OpenVINO GIMP. Каждый из них показал одинаковые результаты.

Благодаря Stable Diffusion 1.5 Surface Pro и Surface Laptop 15 потребовалось всего 7,1 и 7,2 секунды соответственно, чтобы нарисовать изображение кошки за рулем автомобиля (моя обычная подсказка). Два протестированных нами ноутбука с процессором Intel Core Ultra 7 — ThinkPad X1 Carbon (Gen 12) и Acer Swift Go 14 — выполнили ту же задачу за 12,9 и 13 секунд.

Изображение: Tom's Hardware

Итак, мы видим здесь, что Qualcomm в значительной степени связан с Intel в Whisper, за исключением того, что текущая реализация, которую мы использовали, добавляет дополнительный 45-секундный процесс преобразования. А в режиме Stable Diffusion, где нет дополнительного процесса преобразования, чипы Snapdragon работают на 45 процентов быстрее.

В случае с системами Intel они перенесли рабочую нагрузку искусственного интеллекта на свои графические процессоры Arc, что для них хорошо, поскольку их NPU не такие мощные. Однако в случае с системами Snapdragon они отправили всю рабочую нагрузку ИИ на свои NPU, которые являются мощными, но в то же время эффективными.

К сожалению, нам не удалось найти более доступные рабочие нагрузки искусственного интеллекта, которые мы могли бы протестировать как на ноутбуках с процессорами Qualcomm, так и на ноутбуках с процессорами Intel. Однако со временем мы ожидаем, что на обеих платформах будет работать больше локальных приложений и моделей искусственного интеллекта, что позволит лучше сравнивать.

Источник: Tomshardware.com