Технический директор Microsoft: обучение ИИ нужно распространять

Современные центры обработки данных ИИ, такие как построенные компаниями Илона Маска Tesla или xAI, могут вмещать 100 000 графических процессоров Nvidia H100 или H200, и поскольку американские гиганты соревнуются за обучение лучших в отрасли моделей ИИ, им понадобится еще больше процессоров ИИ, которые будут работать согласованно как единая система. Как следствие, центры обработки данных становятся еще более прожорливыми из-за увеличения количества процессоров, более высокого энергопотребления этих процессоров и количества энергии, необходимой для их охлаждения. В результате центры обработки данных, потребляющие несколько гигаватт энергии, вскоре могут стать реальностью. Но энергосистема США уже находится под нагрузкой, особенно в периоды высокого спроса, например, в жаркие летние дни, есть опасения, что сеть может не справиться со спросом.

Чтобы решить эти проблемы, Microsoft делает значительные инвестиции в энергетическую инфраструктуру. Недавно компания подписала соглашение о повторном открытии атомной электростанции Three Mile Island для обеспечения более стабильного энергоснабжения, а до возникновения угрозы компания инвестировала десятки миллиардов долларов в развитие инфраструктуры ИИ. Но этого может быть недостаточно, и в какой-то момент крупным компаниям придется подключать несколько центров обработки данных для обучения своих самых сложных моделей, говорит технический директор Microsoft Azure.

«Я думаю, это неизбежно, особенно когда вы достигаете таких масштабов, которых достигают эти вещи», — сказал Руссинович Semafor. «В некоторых случаях это может быть единственным возможным способом их обучения — проходить через центры обработки данных или даже через регионы. […] Я не думаю, что мы слишком далеки».

На бумаге этот подход позволит решить проблему растущей нагрузки на электросети и преодолеть технические проблемы, связанные с централизованным обучением ИИ. Однако эта стратегия сопряжена с серьезными техническими проблемами, особенно в обеспечении синхронизации центров обработки данных и поддержания высоких скоростей связи, необходимых для эффективного обучения ИИ.

Связь между тысячами процессоров ИИ в одном центре обработки данных уже является проблемой, а распространение этого процесса на несколько площадок только добавляет сложности. Достижения в области оптоволоконных технологий ускорили передачу данных на большие расстояния, но управление этим в нескольких местах остается существенным препятствием. Чтобы смягчить эти проблемы, Руссинович предполагает, что центры обработки данных в распределенной системе должны быть относительно близко друг к другу. Кроме того, реализация этого подхода с несколькими центрами обработки данных потребует сотрудничества между несколькими командами в Microsoft и ее партнере OpenAI, что означает, что децентрализованные методы обучения ИИ должны быть разработаны в Microsoft.

В децентрализованных методах обучения ИИ есть подвох. После разработки они предлагают потенциальное решение для снижения зависимости от самых современных графических процессоров и крупных центров обработки данных. Это может снизить барьер для входа для небольших компаний и отдельных лиц, желающих обучать модели ИИ без необходимости в огромных вычислительных ресурсах. Интересно, что китайские исследователи уже использовали децентрализованные методы для обучения своих моделей ИИ в нескольких центрах обработки данных. Однако подробности скудны.

Источник: Tomshardware.com