Илон Маск, генеральный директор Tesla и основатель xAI, сделал несколько смелых прогнозов относительно развития общего искусственного интеллекта (AGI) и обсудил проблемы, стоящие перед индустрией искусственного интеллекта. Он прогнозирует, что AGI может превзойти человеческий интеллект уже в следующем году или к 2026 году, но для обучения потребуется огромное количество процессоров, что, в свою очередь, требует огромного количества электроэнергии, сообщает Reuters.

Предприятие Маска (xAI) в настоящее время обучает вторую версию режима большого языка Grok и планирует завершить следующий этап обучения к маю. Для обучения модели Grok версии 2 потребовалось 20 000 графических процессоров Nvidia H100, и Маск ожидает, что будущие итерации потребуют еще больше ресурсов, а для обучения модели Grok 3 потребуется около 100 000 чипов Nvidia H100 .

По словам Маска, развитию технологий искусственного интеллекта в настоящее время препятствуют два основных фактора: нехватка поставок передовых процессоров (например, H100 от Nvidia, поскольку быстро получить 100 000 из них непросто) и доступность электроэнергии.

Графический процессор Nvidia H100 потребляет около 700 Вт при полной загрузке, поэтому 100 000 графических процессоров для рабочих нагрузок искусственного интеллекта и высокопроизводительных вычислений могут потреблять колоссальные 70 мегаватт энергии. Поскольку для работы этих графических процессоров требуются серверы и охлаждение, можно с уверенностью сказать, что центр обработки данных со 100 000 процессорами Nvidia H100 будет потреблять около 100 мегаватт энергии. Это сопоставимо с энергопотреблением небольшого города.

Маск подчеркнул, что, хотя поставки вычислительных графических процессоров до сих пор были серьезным препятствием, в ближайшие год-два поставка электроэнергии станет все более важной. Это двойное ограничение подчеркивает проблемы масштабирования технологий искусственного интеллекта для удовлетворения растущих вычислительных потребностей.

Несмотря на проблемы, достижения в области вычислительных архитектур и архитектур памяти позволят в ближайшие годы обучать все более массовые модели больших языков (LLM). Nvidia представила Blackwell B200 на GTC 2024, архитектуру и платформу графического процессора, предназначенную для масштабирования до LLM с триллионами параметров. Это сыграет решающую роль в развитии AGI.

Маск считает, что в ближайшие год или два появится искусственный интеллект , умнее самого умного человека. «Если вы определяете AGI как более умный, чем самый умный человек, я думаю, что это, вероятно, произойдет в следующем году, в течение двух лет», — сказал Маск в интервью X Spaces. Это означает, что, очевидно, пришло время снова посмотреть «Терминатора» и надеяться, что наши будущие повелители AGI будут добрее, чем Скайнет. ☺