Новый процессор Cerebras обладает производительностью 125 петафлопс и имеет 900 000 ядер

Cerebras Systems представила свой Wafer Scale Engine 3 (WSE-3) — революционный чип искусственного интеллекта, производительность которого вдвое выше, чем у его предшественника WSE-2. Это новое устройство содержит 4 триллиона транзисторов, изготовленных по 5-нм техпроцессу TSMS; 900 000 ядер искусственного интеллекта; 44 ГБ встроенной SRAM; и имеет пиковую производительность 125 FP16 петафлопс. WSE-3 компании Ceberas будет использоваться для обучения некоторых крупнейших в отрасли моделей искусственного интеллекта.

WSE-3 используется для суперкомпьютера CS-3 компании Cerebras, который можно использовать для обучения моделей искусственного интеллекта с числом до 24 триллионов параметров, что является значительным шагом вперед по сравнению с суперкомпьютерами на базе WSE-2 и другими современными процессорами искусственного интеллекта. Суперкомпьютер может поддерживать внешнюю память объемом 1,5 ТБ, 12 ТБ или 1,2 ПБ, что позволяет хранить массивные модели в едином логическом пространстве без разделения или рефакторинга, что оптимизирует процесс обучения и повышает эффективность разработки.

Что касается масштабируемости, CS-3 можно сконфигурировать в кластерах до 2048 систем. Такая масштабируемость позволяет ему точно настраивать модели с 70 миллиардами параметров всего за один день при установке из четырех систем и обучать модель Llama 70B с нуля за тот же период времени в полном масштабе.

Новейшая программная платформа Cerebras предлагает встроенную поддержку PyTorch 2.0, а также поддерживает динамическую и неструктурированную разреженность, что может ускорить обучение — до восьми раз быстрее, чем традиционные методы.