Илон Маск создаёт самый мощный ИИ в мире

22 июля 2024, 20:53 / Технологии → Новости / Технологии

Технологический магнат Илон Маск отправился в Twitter/X, чтобы похвастаться запуском «самого мощного кластера обучения искусственному интеллекту в мире», который он будет использовать для создания самопровозглашенного «самого мощного в мире искусственного интеллекта по всем показателям к декабрю этого года».». Сегодня Memphis Supercluster компании xAI начал обучение искусственному интеллекту с использованием 100 000 графических процессоров Nvidia H100 с жидкостным охлаждением, соединенных единой структурой RDMA (удаленный прямой доступ к памяти).

Маловероятно, что Маск лично щелкнул выключателем, чтобы запустить сверхкластер, поскольку отмечается, что он приступил к своей гигантской задаче в 4:20 утра по центральному поясному времени, но, как вы можете видеть ниже, он действительно помог специалисту по оптоволокну.

В мае мы сообщали о стремлении Маска открыть Gigafactory of Compute к осени 2025 года. В то время Маск спешил начать работу над суперкластером, что потребовало покупки графических процессоров Hopper H100 текущего поколения. Похоже, это сигнализировало о том, что технологическому магнату не хватило терпения ждать выхода чипов H200, не говоря уже о предстоящих графических процессорах B100 и B200 на базе Blackwell

. И это несмотря на ожидания, что новые графические процессоры

Thumbnail: Графический процессор Графический процессор (англ. graphics processing unit, GPU) — отдельное устройство персонального компьютера или игровой приставки, выполняющее графический рендеринг; в начале 2000-х годов графические процессоры стали массово применяться и в других устройствах: планшетные компьютеры, встраиваемые системы, цифровые телевизоры. Современные графические процессоры очень эффективно обрабатывают и отображают компьютерную графику, благодаря специализированной конвейерной архитектуре они намного эффективнее в обработке графической информации, чем типичный центральный процессор. Графический процессор в современных видеокартах (видеоадаптерах) применяется в качестве ускорителя трёхмерной графики. Википедия

Nvidia Blackwell для центров обработки данных поступят в продажу до конца 2024 года.

Итак, если открытие Gigafactory of Compute планировалось к осени 2025 года, означают ли сегодняшние новости, что проект был реализован на год раньше? Это действительно может быть рано, но более вероятно, что источники, беседовавшие с Reuters и The Information ранее в этом году, ошиблись или были неверно процитированы относительно сроков реализации проекта. Кроме того, поскольку xAI Memphis Supercluster уже запущен и работает, появляется ответ на вопросы о том, почему xAI не дождался более мощных графических процессоров следующего поколения.

Supermicro предоставила большую часть оборудования, а генеральный директор компании Чарльз Лян также прокомментировал тему Маска, расхваливая работу команды. Это следует из недавних восторженных слов Ляна о центрах обработки данных искусственного интеллекта Маска с жидкостным охлаждением.

В последующем твите Маск объясняет, что новый суперкластер будет «тренировать самый мощный в мире ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

по всем показателям». Из предыдущих заявлений о намерениях мы предполагаем, что мощность 100 000 установок графического процессора H100 компании xAI теперь будет направлена на обучение Grok 3. Маск заявил, что усовершенствованная программа LLM должна завершиться этапом обучения «к декабрю этого года».

Если рассматривать вычислительные ресурсы Memphis Supercluster в некотором контексте, то, конечно, по масштабу, новый xAI Memphis Supercluster легко превосходит все, что находится в последнем списке Top500, с точки зрения мощности графического процессора. Самые мощные в мире суперкомпьютеры, такие как Frontier (37 888 графических процессоров AMD), Aurora (60 000 графических процессоров Intel) и Microsoft Eagle (14 400 графических процессоров Nvidia H100), похоже, значительно уступают машине xAI.

Источник: Tomshardware.com