Сборка из б/у серверной NVIDIA V100 и вентилятора «уделала» RTX 3060 в задачах ИИ

Недавно зарубежный аппаратный канал Hardware Haven продемонстрировал крайне выгодную модификацию: с помощью переходника для серверного ускорителя NVIDIA Tesla V100 с интерфейсом SXM2 на стандартный слот PCIe им удалось добиться высокой производительности в локальных задачах с большими языковыми моделями (LLM) на обычном настольном ПК.

На вторичном рынке комбинация из Tesla V100 SXM2 (16 ГБ HBM2) и переходника обходится примерно в 200 долларов (~1440 рублей). С учетом системы охлаждения и прочих расходов полная стоимость такой «гибридной» сборки составляет около 1700 рублей.

Поскольку серверные карты V100 имеют пассивное охлаждение и лишены видеовыходов, энтузиаст добавил 80-мм вентилятор Noctua и напечатал на 3D-принтере кожух для организации активного обдува.

В тестах локальных LLM эта «сборка Франкенштейна» за 1700 рублей показала впечатляющие результаты: при запуске модели Gemma 4 E4B через Ollama скорость генерации V100 составила 108 токенов/с, в то время как RTX 3060 с 12 ГБ памяти выдала лишь 76 токенов/с. Таким образом, преимущество V100 достигло почти 40%.

Энергоэффективность V100 также оказалась неожиданно высокой. Хотя в режиме простоя она потребляет 45 Вт против 35 Вт у RTX 3060, в высоконагруженных задачах инференции V100 работает эффективнее.

Даже при принудительном ограничении мощности в 100 Вт V100 сохраняла скорость 95 токенов/с, в то время как RTX 3060 при том же энергопотреблении выдавала лишь 68 токенов/с.

Важно отметить, что такая модификация не подходит для игр. У V100 нет видеовыходов, поэтому для вывода изображения потребуется встроенная графика процессора или другая видеокарта. Кроме того, настройка драйверов и идентификация системы требуют определенных технических навыков.

Однако для энтузиастов, экспериментирующих с локальным ИИ и ищущих максимальную производительность за минимальные деньги, эта старая карта с 16 ГБ высокоскоростной памяти практически не имеет конкурентов в ценовом сегменте около 1700 рублей.