Процессоры Snapdragon X2 Elite получат NPU с производительностью 80 TOPS, превосходя AMD и Intel

Компания Qualcomm представила новое поколение платформ для ноутбуков Snapdragon X2 Elite Series. Среди ключевых характеристик — тактовая частота CPU до 5 ГГц и производительность NPU для задач искусственного интеллекта до 80 TOPS.

Для сравнения, у новых платформ от AMD и Intel максимальная производительность NPU составляет всего 50 TOPS, что делает решение Qualcomm заметно более мощным.

Вице-президент по управлению продуктами Qualcomm Technology Вайнеш Сукумар в интервью пояснил:

При проектировании Snapdragon X2 Elite мы ставили цель удвоить производительность ИИ по сравнению с первым поколением Snapdragon X Elite, одновременно обеспечив 10–15% улучшение на программном уровне.

Высокая производительность NPU важна по нескольким причинам. Во-первых, для ускорения генерации первого токена большими языковыми моделями, что сильно зависит от вычислительной мощности. Более высокие показатели TOPS значительно сокращают задержки.

Во-вторых, это критично для создателей контента — будь то генерация изображений или видео, эти задачи требуют высокой производительности. Более мощные вычисления в подсистеме ПК также снижают задержки.

Наконец, поддержка многозадачной параллельной обработки аудио, видео и текста также требует больше TOPS.

С развитием ИИ-приложений на мобильных устройствах остро встают вопросы управления параметрами и размером больших моделей, а также проблемы с памятью.

По мнению Сукумара, Qualcomm и большинство партнеров-производителей оборудования, а также вся экосистема, движутся в сторону моделей с 3–4 миллиардами параметров. В этот диапазон попадают такие модели, как Qwen (千问), Microsoft Phi и даже базовая модель Apple. Это считается оптимальным для обеспечения полноценной работы на периферийных устройствах.

Для решения проблемы нехватки памяти в смартфонах сейчас применяется квантизация моделей — переход от 16-битных целочисленных вычислений к 8-битным, а затем к 4-битным. Qualcomm совместно с Microsoft представила первую в мире модель с 2-битной точностью INT2.

INT2 обладает преимуществами в пропускной способности и использовании памяти — по сравнению с INT4 экономия составляет около 50%, что лучше подходит для запуска больших языковых и визуальных моделей.

Для работы INT2 требуется поддержка как на аппаратном уровне (её обеспечивает Snapdragon 8 Gen 5), так и на программном, включая разработку специализированных библиотек, ядер и операторов.

Qualcomm ожидает, что с появлением инноваций в типах данных можно будет поддерживать модели большего размера при сокращении использования памяти.

Например, модель с 7 миллиардами параметров в 16-битной точности занимает около 14 ГБ памяти, в INT4 — 4 ГБ, а в INT2 — всего 2 ГБ.

При этом контроль точности в 2-битном режиме крайне важен. Не все данные имеют точность INT2 — используются смешанные точности (INT2, INT4, INT8) для сохранения точности модели. Если это приводит к потере точности, можно применять обучение с учетом квантизации для минимизации потерь.

Говоря о поиске «убийственного приложения» для ИИ-смартфонов и ИИ-ПК, Сукумар отметил, что у Qualcomm другой взгляд на эту тему.

Современный ИИ уже глубоко интегрирован в повседневные приложения, работая в области фото, видео и аудио, часто автоматически и незаметно для пользователя.

Qualcomm продолжает работать над решением следующих крупных задач с помощью ИИ, но считает, что каждый шаг в повышении производительности и улучшении пользовательского опыта важен, поскольку устойчивый рост достигается именно постепенными улучшениями.