Чип Xiaomi Xring O100 для ИИ достигает 330 токенов в секунду благодаря пропускной способности памяти 1,22 ТБ/с

Компания Xiaomi сделала очередной шаг в рамках своей программы по разработке собственных чипов, представив три новых чипа серии Xring. Один из них — специализированный ускоритель, предназначенный для выполнения более сложных задач искусственного интеллекта непосредственно на устройстве. Основатель, председатель совета директоров и генеральный директор компании Лэй Цзюнь анонсировал новинки на осенней презентации флагманских продуктов.

Новый чип-ускоритель ИИ, получивший название Xring O100, обеспечивает пропускную способность памяти до 1,22 ТБ/с. Xiaomi называет его первым в мире решением с 6-нм 3D-упаковкой на уровне пластины с использованием передовой технологии.

В чипе применяется усовершенствованный процесс гибридного соединения, при котором шаг соединения приближается к физическому пределу. По заявлению компании, такая конструкция обеспечивает в 16 раз большую пропускную способность памяти по сравнению с традиционными мобильными телефонами и позволяет достичь скорости локального вывода 330 токенов в секунду.

Ключевая идея заключается в вертикальном объединении логических кристаллов и высокоскоростной DRAM-памяти с использованием технологии «кристалл на кристалле» (wafer-on-wafer) и гибридного соединения. Это сокращает физическое расстояние между вычислительными блоками и памятью.

В Xiaomi отмечают, что такой подход к размещению памяти помогает преодолеть давнее узкое место, ограничивающее производительность больших языковых моделей на периферийных устройствах. Даже когда обычные мобильные SoC обладают достаточной вычислительной мощностью, их часто сдерживает медленная передача данных. Высокая пропускная способность и плотные соединения O100 призваны позволить локальным моделям генерировать токены гораздо быстрее.

Чип использует многокомпонентную NPU-архитектуру, оптимизированную для различных этапов вывода, и поддерживает динамическую маршрутизацию данных. Xiaomi уже продемонстрировала прототипы, включая устройства в форм-факторе планшетов и мини-ПК «Xiaomi AI Cube», в которых O100 сочетается с другими чипами Xring для продолжительных локальных ИИ-нагрузок. Коммерческое использование ожидается в 2027 году, потенциальные применения включают смартфоны, планшеты, робототехнику и другие области.

Как упоминалось выше, O100 является частью более широкого семейства чипов Xiaomi Xring, которое также включает флагманские мобильные SoC и чипы для автомобилей. Вместо простой погони за меньшими техпроцессами Xiaomi делает ставку на улучшение пропускной способности и упаковки. Цель — сделать генеративный ИИ отзывчивым, приватным и полезным даже при работе в офлайн-режиме.