xAI Илона Маска построит «Гигафабрику вычислений» со 100 000 GPU H100

26 мая 2024, 18:30 / Технологии → Новости / Технологии

xAI — стартап Илона Маска, занимающийся искусственным интеллектом, планирует построить огромный суперкомпьютер для улучшения своего чат-бота с искусственным интеллектом Grok, сообщает Reuters со ссылкой на The Information. Суперкомпьютер, который Илон Маск называет «Гигафабрикой вычислений», по прогнозам, будет готов к осени 2025 года и может потребовать сотрудничества с Oracle. Благодаря этой разработке Маск стремится значительно превзойти конкурирующие кластеры графических процессоров как по размеру, так и по возможностям.

В презентации для инвесторов Илон Маск сообщил, что новый суперкомпьютер будет использовать до 100 000 графических процессоров Nvidia H100

на базе архитектуры Hopper, что, по данным The Information, сделает его как минимум в четыре раза больше, чем крупнейшие существующие кластеры графических процессоров. Графические процессоры Nvidia

NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия

H100 пользуются большим спросом на рынке чипов для центров обработки данных с искусственным интеллектом, хотя из-за высокого спроса в прошлом году их было трудно приобрести. Но это уже не те топовые графические процессоры Nvidia, которыми они когда-то были: зеленая компания собирается поставлять свои вычислительные графические процессоры H200 для приложений AI и HPC и готовится выпустить свои графические процессоры B100 и B200 на базе Blackwell во второй половине года.

Неясно, почему xAI решила использовать по существу технологию предыдущего поколения для своего суперкомпьютера 2025 года, но эти значительные инвестиции в оборудование должны отражать масштаб амбиций xAI. Имейте в виду, что мы имеем дело с неофициальным отчетом и планы могут измениться. Тем не менее, как сообщается, Маск несет «личную ответственность за своевременную поставку суперкомпьютера», поскольку проект очень важен для разработки больших языковых моделей.

xAI стремится напрямую конкурировать с такими гигантами искусственного интеллекта, как OpenAI

Thumbnail: OpenAI OpenAI — американская научно-исследовательская организация, занимающаяся разработками в области искусственного интеллекта. В состав OpenAI входят зарегистрированная в штате Делавэр некоммерческая организация OpenAI, Inc и её дочерняя коммерческая компания OpenAI Global, LLC. OpenAI ставит перед собой цель разработать «безопасный и полезный» сильный искусственный интеллект, который организация определяет как «высокоавтономные системы, превосходящие человека в выполнении наиболее экономически ценной работы». На пути к этой цели организация создала несколько больших языковых моделей, в том числе GPT-4 и ChatGPT, а также моделей для генерации изображений, как DALL-E; в прошлом она публиковала модели с открытым исходным кодом. Некоммерческая организация OpenAI была основана в декабре 2015 года; её сопредседателями стали Сэм Олтмен и Илон Маск. Википедия

и Google. Маск, который также является соучредителем OpenAI, позиционирует xAI как серьезного соперника в сфере искусственного интеллекта, и именно поэтому ему нужен будущий суперкомпьютер. По словам Маска, для обучения модели Grok 2 потребовалось около 20 000 графических процессоров Nvidia H100, а для будущих итераций, таких как Grok 3, потребуется до 100 000 графических процессоров.

Ни xAI, ни Oracle не предоставили комментариев по поводу сотрудничества. По понятным причинам это молчание оставляет открытыми некоторые аспекты партнерства и суперкомпьютерного проекта для спекуляций. Тем не менее, презентация Маска инвесторам подчеркивает его стремление расширить границы технологий искусственного интеллекта посредством значительных инвестиций в инфраструктуру и стратегического партнерства.