Дженсен Хуанг: без GTX 580 не было бы современной NVIDIA

В недавнем выпуске подкаста Джо Рогана генеральный директор NVIDIA Дженсен Хуанг вспомнил о ключевом поворотном моменте, связанном с истоками глубокого обучения и судьбой компании. Он отметил, что прорыв в этой области, начавшийся в 2012 году, был сделан благодаря конфигурации из двух игровых видеокарт GTX 580 в связке SLI, которые изначально не проектировались для задач ИИ.

Хуанг рассказал, что первое оборудование, на котором запустили базовую сеть современного глубокого обучения, — это как раз топовая игровая видеокарта GTX 580 на архитектуре Fermi с 512 вычислительными ядрами CUDA.

Хотя карта создавалась для игр, её мощные возможности параллельных вычислений неожиданно стали фундаментом для быстрого обучения нейросетей.

В 2012 году исследователи из Университета Торонто Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон использовали пару 3-гигабайтных GTX 580 для обучения знаменитой модели AlexNet.

Эта глубокая нейронная сеть с примерно 60 миллионами параметров на конкурсе ImageNet по распознаванию изображений показала результат на 70% лучше, чем созданные вручную алгоритмы того времени.

Как отметил Дженсен Хуанг, разработчики AlexNet оптимизировали алгоритм для параллельной работы на двух видеокартах GTX 580, обмениваясь данными только при необходимости, что значительно сократило время обучения. Это сделало GTX 580 первой в мире видеокартой, запустившей сеть глубокого обучения/машинного обучения для ИИ.

Любопытно, что этот прорыв произошёл в то время, когда инвестиции NVIDIA в сферу искусственного интеллекта были минимальны, а основные разработки велись в области 3D-графики и игр.

Именно успех AlexNet на GTX 580 заставил NVIDIA осознать огромный потенциал глубокого обучения. По словам Хуанга, компания уже в 2012 году перенаправила финансирование, разработку и исследования в эту технологию.

Этот поворот в итоге привёл к созданию в 2016 году первого суперкомпьютера NVIDIA DGX, архитектуры Volta с первым поколением тензорных ядер и последующей технологии DLSS.