Ютубер превратил серверный ИИ-ускоритель Nvidia за $200 в PCIe-карту с 3D-печатным охлаждением

Для запуска LLM локально требуется много видеопамяти, что может значительно увеличить стоимость системы. В условиях бума ИИ лучшую цену предлагают старые, часто забытые чипы, которые всё ещё способны на многое. Именно это обнаружил ютубер Hardware Haven. Он взял серверный GPU Nvidia V100 с интерфейсом SMX (похожим на сокет для процессора) и преобразовал его в стандартную шину PCIe, подключив к обычной материнской плате. Карта показала отличную производительность для своего возраста и цены, даже в сравнении с современными моделями.

Устройство основано на Nvidia Tesla V100 для ИИ, использующей сокет SMX2 и предназначенной для стоечных развёртываний. Интерфейс SMX — это разъём типа «мезонин», который крепит GPU заподлицо к специальной базовой плате, подобно процессорному сокету. Ютубер приобрёл этот GPU всего за $100, а адаптер SMX-to-PCIe x16 обошёлся примерно в такую же сумму, доведя общую стоимость сборки до $200. V100 оснащён 16 или 32 ГБ памяти HBM2 (в данном случае 16 ГБ с пропускной способностью 900 ГБ/с) и основан на архитектуре Turing.

Адаптерная плата PCIe не имела собственного охлаждения, а поскольку V100 представляет собой просто радиатор на печатной плате, ютубер спроектировал и напечатал на 3D-принтере воздуховод. Он установил на конце 80-мм вентилятор Noctua для подачи свежего воздуха на радиатор. Адаптер также оснащён двумя 8-контактными разъёмами питания PCIe и тремя 4-контактными разъёмами для ШИМ-вентиляторов. Он не имеет дополнительного сокета SMX для NVLink, так как такие сокеты стоят гораздо дороже.

После подготовки GPU был установлен в стандартную систему на Ryzen. Важно отметить, что V100 не имеет видеовыходов, поэтому для работы с компьютером требуется встроенная графика в процессоре. В тесте Ollama с моделью gpt-oss-20b V100 выдал 130 токенов в секунду, в то время как Radeon RX 7800 XT в основной системе ютубера показал лишь около 90 токенов в секунду.

Обе карты имеют по 16 ГБ видеопамяти, а RX 7800 XT — более новая и с более эффективным чипом, однако Nvidia остаётся золотым стандартом программной поддержки в таких тестах. Поэтому ютубер переключился на RTX 3060 12 ГБ (лучший GPU Nvidia, который у него был) для сравнения с V100, который также построен на более новой архитектуре Ampere.

В тесте Google gemma4:e4b V100 достиг 108 токенов в секунду, тогда как RTX 3060 12 ГБ — лишь 76 токенов в секунду, но при меньшем энергопотреблении: 293 Вт у V100 против 235 Вт у RTX 3060. Расчёт токенов на ватт показывает 0,37 для V100, что немного эффективнее, чем 0,33 у RTX 3060.

При ограничении мощности V100 до 100 Вт (изначально карта потребляет 300 Вт) энергопотребление в том же тесте снизилось до 170 Вт, при этом производительность составила 95 токенов в секунду. Для честного сравнения ютубер также ограничил RTX 3060 до 100 Вт; в итоге карта потребляла 171 Вт и выдавала всего 68 токенов в секунду. Таким образом, эффективность V100 составила 0,55 токенов/с на ватт, а RTX 3060 12 ГБ — 0,39 токенов/с на ватт.

Несмотря на то, что V100 оказался гораздо эффективнее, несмотря на свой возраст, его энергопотребление в простое является слабым местом. Он потребляет 45 Вт в режиме ожидания, тогда как RTX 3060 — 35 Вт. Наконец, ютубер также протестировал Frigate NVR, который показал отличные результаты на V100, превзойдя RTX 3060, но, как и ожидалось, потреблял больше энергии.

Предыдущая система ютубера для Frigate на базе Intel N100 с трудом обнаруживала его собаку на mobilenetv2, но V100 смог идентифицировать её мгновенно. Однако при мониторинге всего двух камер V100 потреблял более 100 Вт; RTX 3060 показала схожий результат, в то время как старый N100 потреблял всего 26 Вт при работе с шестью камерами. На этом тестирование завершилось.

Эксперимент с V100 оказался успешным, но популярность оригинального видео и эта статья, скорее всего, приведут к росту цен на такие карты. Если вы заинтересованы, стоит поторопиться: ютубер нашёл V100 всего за $100 (~8000 руб.) на eBay, а адаптеры PCIe для ранних сокетов SMX также недороги. Однако 32-гигабайтная версия V100 стоит уже $500 (~40000 руб.).

Источник: Tomshardware.com