Morgan Stanley: чипы Nvidia в 2-8 раз эффективнее решений Google и Amazon на ватт

Согласно отчету Morgan Stanley от 18 мая, строительство центра обработки данных мощностью 1 гигаватт с использованием современных графических процессоров Nvidia Blackwell AI обойдется оператору гипермасштабного центра обработки данных вдвое дороже, чем строительство аналогичного центра с использованием процессоров Google TPU или чипов Amazon Trainium.

Несмотря на то, что стоимость строительства ЦОДа на чипах Blackwell вдвое выше, Morgan Stanley считает, что их вычислительная эффективность значительно превосходит кастомные решения.

В своем отчете Morgan Stanley сравнил производительность в терафлопсах на ватт нескольких графических процессоров Nvidia с микросхемами ASIC от Amazon и Google. Результаты показали, что чипы Nvidia превосходят эти микросхемы ASIC в 2–8 раз на ватт.

Ранее генеральный директор Nvidia Дженсен Хуанг неоднократно публично заявлял, что, хотя чипы Nvidia и дороги, в долгосрочной перспективе они могут принести клиентам более высокую прибыль.

По показателю удельной производительности вычислений с плавающей запятой на ватт, запланированный компанией NVIDIA чип следующего поколения с архитектурой Vera Rubin (FP4) показал высокий результат — 19,5 балла, заняв первое место в списке. Другие чипы NVIDIA, Vera Rubin (FP8), набрали 6,8 балла, GB300 (FP8) — 6,0 балла, а H100 (FP8) — 3,1 балла.

Для сравнения, TPUv7 от Google (FP8) набрал всего 4,3 балла, а Trn3 от Amazon (FP8) — всего 2,5 балла. Производительность их собственных чипов находится примерно между Nvidia Blackwell и предыдущим поколением Hopper, а по некоторым показателям даже ниже, чем у Hopper.

Однако существуют и другие аспекты оценки чипов для ИИ. Компания Nebius, поставщик инфраструктуры для ИИ, отмечает, что еще одним ключевым критерием является соотношение стоимости генерации одного миллиона токенов к стоимости работы графического процессора в час.

Согласно расчетам компании Nebius, для генерации одного миллиона токенов чипу Groq AI требуется от 5 до 10 центов (приблизительно от 0,34 до 0,68 юаня) при скорости генерации 800 токенов в секунду.

Стоимость генерации одного миллиона токенов с помощью чипа Blackwell от Nvidia составляет 25 центов (около 1,70 юаня), а скорость генерации — около 450 токенов в секунду.