Илон Маск подтвердил, что Grok 3 скоро выйдет

6 января 2025, 21:17 / Технологии → Новости / Технологии

Илон Маск объявил, что большая языковая модель Grok

3 (LLM) от xAI прошла предварительную подготовку и потребовала в 10 раз больше вычислительной мощности, чем Grok 2. Он не раскрыл подробностей, но, судя по времени, Grok 3 LLM прошла предварительную подготовку на суперкластере Colossus, который содержит около 100 000 графических процессоров Nvidia H100.

«Grok 3 выйдет скоро», — написал Илон Маск в посте X. «Предварительное обучение уже завершено, и вычислений в 10 раз больше, чем у Grok 2».

Учитывая время и контекст, это подтверждает предыдущие сообщения о том, что суперкомпьютер Colossus от xAI, который может похвастаться примерно 100 000 графическими процессорами Nvidia H100, был специально создан для ускорения крупномасштабных проектов ИИ. Упоминание о десятикратном «большем количестве вычислений, чем у Grok 2» еще раз подтверждает идею о том, что предварительное обучение Grok 3 использовало эту огромную вычислительную инфраструктуру. По понятным причинам Grok 3 использовал данные, сгенерированные пользователями X.

Конкретные подробности о вычислительной инфраструктуре, использованной для обучения Grok 2, широко не раскрываются, но мы можем предположить, что он использовал значительно менее мощный кластер, чем Grok 3. Тем не менее, Grok 2 был предварительно обучен на мощных, хотя пока и не революционных, вычислительных ресурсах.

Таким компаниям, как xAI, нужны такие системы, как Colossus, чтобы не отставать от конкурентов, таких как OpenAI

Thumbnail: OpenAI OpenAI — американская научно-исследовательская организация, занимающаяся разработками в области искусственного интеллекта. В состав OpenAI входят зарегистрированная в штате Делавэр некоммерческая организация OpenAI, Inc и её дочерняя коммерческая компания OpenAI Global, LLC. OpenAI ставит перед собой цель разработать «безопасный и полезный» сильный искусственный интеллект, который организация определяет как «высокоавтономные системы, превосходящие человека в выполнении наиболее экономически ценной работы». На пути к этой цели организация создала несколько больших языковых моделей, в том числе GPT-4 и ChatGPT, а также моделей для генерации изображений, как DALL-E; в прошлом она публиковала модели с открытым исходным кодом. Некоммерческая организация OpenAI была основана в декабре 2015 года; её сопредседателями стали Сэм Олтмен и Илон Маск. Википедия

, Google DeepMind и Anthropic. Возможность предварительной подготовки быстрее и в большем масштабе позволяет быстрее развертывать передовые модели, такие как LLM, такие как Grok 3 или GPT-4, которые содержат сотни миллиардов параметров. Обучение этих моделей включает триллионы операций с плавающей точкой. Вот почему Colossus будет расширен до 200 000 графических процессоров H100 и H200 в ближайшие месяцы, чтобы Grok Next был предварительно обучен на еще более колоссальной системе.

Примечательно, что xAI планирует со временем развернуть суперкомпьютер, работающий на более чем миллионе графических процессоров. Эта версия Colossus будет использоваться для обучения LLM, которые, вероятно, будут содержать триллионы параметров и будут намного точнее, чем Grok 3 или GPT-4o. Однако, в дополнение к большему количеству параметров, новые модели могут обладать более продвинутыми рассуждениями, что приближает их к общему искусственному интеллекту, что является конечной целью таких компаний, как xAI и OpenAI.

Источник: Tomshardware.com