ByteDance разрабатывает собственный LPU-чип для AI-инференса

С ростом потребности в вычислительных мощностях для AI-инференса китайские разработки чипов смещаются с GPU в сторону CPU. Появилась информация, что ByteDance планирует разработать собственный процессор, и теперь стало известно, что речь идет о чипе типа LPU.

Зарубежный аналитик Jukan сообщил, что компания сотрудничает с китайским производителем чипов памяти RRAM для создания продукта, аналогичного процессору Groq LPU.

Он также отметил, что глава Nvidia Дженсен Хуанг ранее называл LPU-чипы нишевым рынком, однако это было попыткой преуменьшить их значение. В итоге все крупные компании стремятся создать подобные тензорные процессоры.

LPU пока менее известны по сравнению с GPU и TPU. Последним значимым событием стал анонс LPU30 на GTC в марте, причем технология этого чипа не является собственной разработкой Nvidia — компания приобрела лицензию у Groq в конце прошлого года за $20 млрд (около 1,6 трлн рублей).

Интерес Nvidia к LPU объясним: основатель Groq Джонатан Росс (Jonathan Ross) 10 лет назад руководил разработкой TPU в Google, а в 2016 году вместе с ключевыми сотрудниками основал Groq.

По сравнению с GPU, LPU специально спроектированы для больших языковых моделей. Они работают в 10 раз быстрее H100 при стоимости в десять раз ниже, удовлетворяя растущий спрос на «реальные, низколатентные» AI-сервисы.

В частности, LPU30 оснащен 500 МБ кэша SRAM, 98 миллиардами транзисторов, производительностью FP8 1.2 PFLOPS. Хотя его AI-производительность уступает Rubin GPU, пропускная способность в 150 ТБ/с значительно превышает 22 ТБ/с у HBM4.

Чип Groq 3 LPU будет выпускаться в виде стойки Groq 3 LPX, объединяющей 256 чипов LPU30. Общий объем кэша достигнет 128 ГБ, а пропускная способность памяти — 40 ПБ/с при межсоединении 640 ТБ/с.

Таким образом, LPU уступает GPU в сырой производительности AI, но превосходит его в несколько раз по пропускной способности и задержкам, что критически важно для AI-инференса.

Если ByteDance удастся создать собственный LPU-подобный чип, пользователи могут заметить изменения. Многие критикуют AI-помощника Doubao (дочерний проект ByteDance) за высокий эмоциональный интеллект, но слабые аналитические способности. Это связано с нехваткой вычислительных мощностей для инференса. Внедрение LPU позволит не только значительно снизить затраты, но и сделать Doubao «умнее», расширив его возможности.