Сервер ИИ за 30 тысяч долларов: 7 GPU RTX 5090

Вчера в 18:30 / Технологии → Новости / Технологии

Не секрет, что RTX 5090 от Nvidia

NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия

является мощным источником для рабочих нагрузок ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

, учитывая архитектурные улучшения Blackwell

Блэкуэлл, Блэквелл (англ. Blackwell) — английская фамилия. Википедия

и поддержку форматов данных с меньшей точностью. Вьетнамский магазин Nguyencongpc (через I_Leak_VN), Недавно они поделились несколькими фотографиями ИИ-установки, которую они настроили для клиента, включающей семь RTX 5090, подключенных к нескольким киловаттным блокам питания в открытой раме GPU. Несмотря на то, что средняя стоимость RTX 5090 составляет около 4000 долларов, профессионалы считают, что их производительность стоит инвестиций, хотя Nvidia и не позиционирует эти карты как решения для рабочих станций.

Неуловимая RTX 5090 была снята с полок и недоступна большую часть своей жизни, если только вы не готовы платить бешеные деньги. Это в основном потому, что норма прибыли Nvidia значительно выше на их ориентированных на серверы графических процессорах Blackwell B100/B200/B300, чем на типичных продуктах GeForce. Для Nvidia распределение ограниченного количества пластин, которые она закупает у TSMC, на эти ускорители ИИ просто более выгодно.

Система искусственного интеллекта напоминает майнинговые установки времен пандемии. В открытой раме GPU размещены семь блоков Gigabyte RTX 5090 Gaming OC, подключенных с помощью того, что мы видим, — это кабели PCIe riser, питаемые от нескольких блоков питания Super Flower Leadex 2000W. Систему можно легко оценить более чем в 30 000 долларов, учитывая, что эти GPU продаются по цене 3500–4000 долларов в хороший день.

Этот одиночный кадр предлагает огромный пул памяти в 224 ГБ для обучения и вывода ИИ. Конечно, это не унифицированная память, поэтому разработчикам приходится полагаться на такие методы, как параллелизм моделей, чтобы эффективно распределять рабочие нагрузки по нескольким графическим процессорам. В связи с этим, будущие карты Nvidia Blackwell для рабочих станций оснащены до 96 ГБ видеопамяти и стоят от 8000 до 9000 долларов.

Несмотря на то, что RTX Pro 6000 Blackwell предлагает больше памяти, несколько RTX 5090 обеспечивают преимущество в производительности для задач ИИ, где необходимы сырые вычисления, особенно при ограниченном бюджете. Однако, когда цена не имеет значения и вы хотите масштабировать ИИ более эффективно, больше VRAM на отдельный GPU становится необходимым для обработки сложных моделей с сотнями миллиардов параметров.

С появлением ИИ Nvidia теперь различает свои предложения GPU по объему памяти, что приводит к крутой ценовой кривой, если вы ищете конфигурации с более высокой памятью. Были обходные пути от моддеров, где RTX 4090 в стиле blower с 48 ГБ памяти распространены в китайском сообществе.

Могут пройти месяцы, прежде чем цены нормализуются, поскольку практически каждый новый GPU мгновенно улетает с полок и никогда не встречается по MSRP. Возможно, вам захочется проверить рынок подержанных GPU последнего поколения, которые обычно можно найти по цене, близкой к их MSRP при запуске или даже ниже.

Источник: Tomshardware.com