Cerebras: ИИ пишет код в 75 раз быстрее, чем самое быстрое облако GPU

Вчера в 20:38 / Технологии → Новости / Технологии

Cerebras

Cerebras Systems — американская компания, занимающаяся искусственным интеллектом, с офисами в Кремниевой долине, Сан-Диего, Торонто и Токио. Cerebras создает компьютерные системы для сложных приложений искусственного интеллекта, требующих глубокого обучения. Википедия

добился того, что большая языковая модель Llama 3.1 405B от Meta

Ме́та — многозначный термин. Википедия

работала со скоростью 969 токенов в секунду, что в 75 раз быстрее, чем мог обеспечить самый быстрый ИИ-сервис Amazon Web Services с графическими процессорами.

LLM был запущен на облачном сервисе искусственного интеллекта Cerebras Inference, который использует чипы третьего поколения Wafer Scale Engines компании, а не графические процессоры

Thumbnail: Графический процессор Графический процессор (англ. graphics processing unit, GPU) — отдельное устройство персонального компьютера или игровой приставки, выполняющее графический рендеринг; в начале 2000-х годов графические процессоры стали массово применяться и в других устройствах: планшетные компьютеры, встраиваемые системы, цифровые телевизоры. Современные графические процессоры очень эффективно обрабатывают и отображают компьютерную графику, благодаря специализированной конвейерной архитектуре они намного эффективнее в обработке графической информации, чем типичный центральный процессор. Графический процессор в современных видеокартах (видеоадаптерах) применяется в качестве ускорителя трёхмерной графики. Википедия

от Nvidia

NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия

или AMD

Advanced Micro Devices, Inc. (AMD, дословный перевод с англ. — «передовые микроустройства») — производитель интегральной микросхемной электроники. Второй по объему производства и продаж производитель процессоров архитектуры x86 c долей рынка 16,9 %▲(2014), а также один из крупнейших производителей графических процессоров (после приобретения ATI Technologies в 2006 году), чипсетов для материнских плат и флеш-памяти. Компания с 2009 года не имеет собственного производства и размещает заказы на мощностях других компаний. Википедия

. Cerebras всегда заявлял, что его сервис Inference является самым быстрым для генерации токенов, отдельных частей, составляющих ответ от LLM. Когда он был впервые запущен в августе, было заявлено, что Cerebras Inference примерно в 20 раз быстрее, чем графические процессоры Nvidia, работающие через облачных провайдеров, таких как Amazon Web Services в Llama 3.1 8B и Llama 3.1 70B.

Но с июля Meta предложила Llama 3.1 405B, которая имеет 405 миллиардов параметров, что делает ее гораздо более тяжелой моделью, чем Llama 3.1 70B с 70 миллиардами параметров. Cerebras утверждает, что ее процессоры Wafer Scale Engine могут запускать этот огромный LLM на «мгновенной скорости» со скоростью токенов 969 в секунду и временем до первого токена всего 0,24 секунды; по данным компании, это мировой рекорд не только для ее чипов, но и для модели Llama 3.1 405B.

По сравнению с графическими процессорами Nvidia, арендованными у AWS, Cerebras Inference был, по-видимому, в 75 раз быстрее; чипы Wafer Scale Engine были в 12 раз быстрее, чем даже самая быстрая реализация графических процессоров Nvidia от Together AI. Его ближайший конкурент, разработчик процессоров ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

SambaNova, был побит Cerebras Inference в 6 раз.

Чтобы проиллюстрировать, насколько это быстро, Cerebras поручил Fireworks (самый быстрый облачный сервис ИИ, оснащенный графическими процессорами) и Inference создать шахматную программу на Python. Cerebras Inference занял около трех секунд, а Fireworks — 20.

«Llama 3.1 405B на Cerebras — это, безусловно, самая быстрая модель frontier в мире — в 12 раз быстрее, чем GPT-4o, и в 18 раз быстрее, чем Claude 3.5 Sonnet», — заявили в Cerebras. «Благодаря сочетанию открытого подхода Meta и революционной технологии вывода Cerebras, Llama 3.1-405B теперь работает более чем в 10 раз быстрее закрытых моделей frontier».

Даже при увеличении размера запроса с 1000 токенов до 100 000 токенов (подсказка, состоящая как минимум из пары тысяч слов), Cerebras Inference, по-видимому, работал со скоростью 539 токенов в секунду. Из пяти других сервисов, которые могли справиться с этой рабочей нагрузкой, лучший набрал всего 49 токенов в секунду.

Cerebras также похвасталась, что всего лишь один Wafer Scale Engine второго поколения превзошел суперкомпьютер Frontier в 768 раз в моделировании молекулярной динамики. Frontier был самым быстрым суперкомпьютером в мире до понедельника, когда был запущен суперкомпьютер El Capitan, и он имеет 9472 процессора Epyc от AMD.

Кроме того, чип Cerebras превзошел суперкомпьютер Anton 3 на 20%, что является значительным достижением, учитывая, что Anton 3 был создан для молекулярной динамики; его производительность в 1,1 миллиона шагов моделирования в секунду также стала первым случаем, когда компьютер преодолел барьер в миллион шагов моделирования.

Источник: Tomshardware.com