Qualcomm представила ускорители AI200 и AI250 для центров обработки данных

Компания Qualcomm Technologies анонсировала новое поколение решений для центров обработки данных, оптимизированных для задач AI-инференса: ускорители на базе чипов Qualcomm AI200 и AI250, а также готовые серверные стойки. Эти решения, основанные на технологии нейропроцессоров компании, предлагают производительность на уровне стойки и увеличенную емкость памяти для быстрого инференса генеративного ИИ с высокой эффективностью по соотношению цена/производительность/ватт.

Qualcomm AI200 представляет собой специализированное решение для AI-инференса на уровне стойки, предназначенное для снижения совокупной стоимости владения (TCO) и оптимизации производительности при работе с большими языковыми и мультимодальными моделями. Каждая карта поддерживает до 768 ГБ памяти LPDDR, что обеспечивает исключительную масштабируемость и гибкость для AI-инференса.

Решение Qualcomm AI250 дебютирует с инновационной архитектурой памяти на основе near-memory computing, что обеспечивает скачок в эффективности и производительности для рабочих нагрузок AI-инференса, предлагая более чем 10-кратное увеличение эффективной пропускной способности памяти при значительно более низком энергопотреблении.

Оба стоечных решения оснащены системой прямого жидкостного охлаждения для эффективного теплоотвода, интерфейсами PCIe для вертикального масштабирования и Ethernet для горизонтального, а также поддержкой конфиденциальных вычислений для безопасного выполнения AI-задач. Энергопотребление одной стойки составляет 160 кВт.

«С решениями Qualcomm AI200 и AI250 мы переопределяем возможности AI-инференса на уровне стойки. Эти инновационные инфраструктурные решения для ИИ позволяют клиентам развертывать генеративный искусственный интеллект с беспрецедентно низкой совокупной стоимостью владения, сохраняя при этом гибкость и безопасность, которые требуются современным ЦОД», — заявил Дурга Маллади, старший вице-президент и генеральный менеджер по технологическому планированию, периферийным решениям и центрам обработки данных Qualcomm Technologies. «Наша богатая программная экосистема и поддержка открытых стандартов позволяют разработчикам и предприятиям легко интегрировать, управлять и масштабировать уже обученные AI-модели на наших оптимизированных решениях для инференса. Благодаря совместимости с ведущими AI-фреймворками и развертыванию моделей в один клик, Qualcomm AI200 и AI250 созданы для беспрепятственного внедрения и быстрых инноваций».

Программный стек Qualcomm для ИИ, охватывающий все уровни от приложений до системного ПО, оптимизирован для задач инференса. Он поддерживает ведущие фреймворки машинного обучения, механизмы вывода, фреймворки для генеративного ИИ и техники оптимизации для больших языковых и мультимодальных моделей. Разработчики могут легко развертывать модели с платформы Hugging Face с помощью Efficient Transformers Library и Qualcomm AI Inference Suite.

Ожидается, что Qualcomm AI200 и AI250 поступят в коммерческую продажу в 2026 и 2027 годах соответственно. Компания Qualcomm Technologies заявляет о приверженности ежегодному обновлению дорожной карты для центров обработки данных, ориентированной на лидирующую производительность AI-инференса, энергоэффективность и оптимальную совокупную стоимость владения.

Интересный факт: концепция near-memory computing, используемая в AI250, направлена на сокращение «бутылочного горлышка» при передаче данных между процессором и памятью, что особенно критично для ресурсоемких задач искусственного интеллекта, где объем обрабатываемой информации огромен.