Илон Маск: для обучения модели Grok 3 нужно 100 000 GPU Nvidia H100

9 апреля 2024, 21:39 / Технологии → Новости / Технологии

Илон Маск, генеральный директор Tesla и основатель xAI, сделал несколько смелых прогнозов относительно развития общего искусственного интеллекта (AGI) и обсудил проблемы, стоящие перед индустрией искусственного интеллекта. Он прогнозирует, что AGI может превзойти человеческий интеллект уже в следующем году или к 2026 году, но для обучения потребуется огромное количество процессоров, что, в свою очередь, требует огромного количества электроэнергии, сообщает Reuters.

Предприятие Маска (xAI) в настоящее время обучает вторую версию режима большого языка Grok

и планирует завершить следующий этап обучения к маю. Для обучения модели Grok версии 2 потребовалось 20 000 графических процессоров Nvidia

NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия

H100, и Маск ожидает, что будущие итерации потребуют еще больше ресурсов, а для обучения модели Grok 3 потребуется около 100 000 чипов Nvidia H100

По словам Маска, развитию технологий искусственного интеллекта в настоящее время препятствуют два основных фактора: нехватка поставок передовых процессоров (например, H100 от Nvidia, поскольку быстро получить 100 000 из них непросто) и доступность электроэнергии.

Графический процессор Nvidia H100 потребляет около 700 Вт при полной загрузке, поэтому 100 000 графических процессоров для рабочих нагрузок искусственного интеллекта и высокопроизводительных вычислений могут потреблять колоссальные 70 мегаватт энергии. Поскольку для работы этих графических процессоров требуются серверы и охлаждение, можно с уверенностью сказать, что центр обработки данных со 100 000 процессорами Nvidia H100 будет потреблять около 100 мегаватт энергии. Это сопоставимо с энергопотреблением небольшого города.

Маск подчеркнул, что, хотя поставки вычислительных графических процессоров до сих пор были серьезным препятствием, в ближайшие год-два поставка электроэнергии станет все более важной. Это двойное ограничение подчеркивает проблемы масштабирования технологий искусственного интеллекта для удовлетворения растущих вычислительных потребностей.

Несмотря на проблемы, достижения в области вычислительных архитектур и архитектур памяти позволят в ближайшие годы обучать все более массовые модели больших языков (LLM). Nvidia представила Blackwell B200 на GTC 2024, архитектуру и платформу графического процессора, предназначенную для масштабирования до LLM с триллионами параметров. Это сыграет решающую роль в развитии AGI.

Маск считает, что в ближайшие год или два появится искусственный интеллект

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

, умнее самого умного человека. «Если вы определяете AGI как более умный, чем самый умный человек, я думаю, что это, вероятно, произойдет в следующем году, в течение двух лет», — сказал Маск в интервью X Spaces. Это означает, что, очевидно, пришло время снова посмотреть «Терминатора» и надеяться, что наши будущие повелители AGI будут добрее, чем Скайнет. ☺