Илон Маск: для обучения модели Grok 3 нужно 100 000 GPU Nvidia H100

Илон Маск, генеральный директор Tesla и основатель xAI, сделал несколько смелых прогнозов относительно развития общего искусственного интеллекта (AGI) и обсудил проблемы, стоящие перед индустрией искусственного интеллекта. Он прогнозирует, что AGI может превзойти человеческий интеллект уже в следующем году или к 2026 году, но для обучения потребуется огромное количество процессоров, что, в свою очередь, требует огромного количества электроэнергии, сообщает Reuters.

По словам Маска, развитию технологий искусственного интеллекта в настоящее время препятствуют два основных фактора: нехватка поставок передовых процессоров (например, H100 от Nvidia, поскольку быстро получить 100 000 из них непросто) и доступность электроэнергии.

Графический процессор Nvidia H100 потребляет около 700 Вт при полной загрузке, поэтому 100 000 графических процессоров для рабочих нагрузок искусственного интеллекта и высокопроизводительных вычислений могут потреблять колоссальные 70 мегаватт энергии. Поскольку для работы этих графических процессоров требуются серверы и охлаждение, можно с уверенностью сказать, что центр обработки данных со 100 000 процессорами Nvidia H100 будет потреблять около 100 мегаватт энергии. Это сопоставимо с энергопотреблением небольшого города.

Маск подчеркнул, что, хотя поставки вычислительных графических процессоров до сих пор были серьезным препятствием, в ближайшие год-два поставка электроэнергии станет все более важной. Это двойное ограничение подчеркивает проблемы масштабирования технологий искусственного интеллекта для удовлетворения растущих вычислительных потребностей.

Несмотря на проблемы, достижения в области вычислительных архитектур и архитектур памяти позволят в ближайшие годы обучать все более массовые модели больших языков (LLM). Nvidia представила Blackwell B200 на GTC 2024, архитектуру и платформу графического процессора, предназначенную для масштабирования до LLM с триллионами параметров. Это сыграет решающую роль в развитии AGI.