Meta представила суперкомпьютер AI Research SuperCluster

Сегодня Meta* (запрещенная на территории РФ организация) рассказала о своем новом суперкомпьютере AI Research SuperCluster (RSC), который работает на новейших графических процессорах NVIDIA Ampere A100. Возможно, это самый эффективный суперкомпьютер с искусственным интеллектом в мире. Компания заявляет, что он уже построен, но окончательное завершение производства ожидается в середине 2022 года.

Новый исследовательский суперкластер поможет исследователям искусственного интеллекта Meta разработать улучшенные модели ИИ, которые будут не только умнее, но и будут способны учиться на триллионах экземпляров; обрабатывать информацию с нескольких языков одновременно; анализировать текст, изображения и видео одновременно; создавать уникальные устройства дополненной реальности и многое другое.

Одним из примеров нового суперкомпьютера с искусственным интеллектом является возможность управлять голосовым переводом большой группы людей в режиме реального времени вместо использования переводчиков-людей, что позволяет многим пользователям совместно работать над проектом или играть в многопользовательскую игру одновременно. Но основная цель нового исследовательского суперкластера — помощь в создании новых технологий для метавселенной (постоянно действующее виртуальное пространство, в котором люди могут взаимодействовать друг с другом и с цифровыми объектами через свои аватары, с помощью технологий виртуальной реальности).

Facebook* изначально создал лабораторию AI Research в 2013 году, когда компания осуществила долгосрочные инвестиции в искусственный интеллект. Несколько достижений в области искусственного интеллекта стали частью нашего мира, и Meta объясняет, как их прогресс помогает моделям искусственного интеллекта обрабатывать информацию лучше, чем раньше, путем точного определения определенных областей и самоконтролируемого обучения, позволяя формулам понимать большое количество чисел из примеров.

Чтобы в полной мере реализовать преимущества самоконтролируемого обучения и моделей на основе преобразователя, в различных областях, будь то зрение, речь, язык или для критических случаев использования, таких как  выявление вредоносного контента, потребуется обучение все более  крупных,  сложных и  адаптируемых  моделей. Компьютерному зрению, например, необходимо обрабатывать большие и длинные видео с более высокой частотой дискретизации данных. Распознавание речи должно хорошо работать даже в сложных условиях с большим количеством фонового шума, например на вечеринках или концертах. Необходимо понимать больше языков, диалектов и акцентов. ИИ поможет людям выполнять эти полезные задачи в реальном мире.

Поскольку высокопроизводительные вычислительные инфраструктуры имеют решающее значение для обучения искусственному интеллекту, Meta сообщает, что они исследовали и создавали системы для удовлетворения этих потребностей в течение многих лет. Их первая версия изначально была разработана в 2017 году и использовала 22 000 графических процессоров NVIDIA V100 Tensor Core, расположенных в одной группе, для выполнения 35 000 учебных заданий за один день.

Два года назад в компании поняли, что для продвижения своих разработок им потребуется разработать новую платформу. Они с нуля разработали инфраструктуру с использованием новейших графических карт.

Благодаря исследовательским возможностям как встроенного ИИ, так и  мультимодального ИИ, компания планирует улучшить пользовательский опыт в более широком масштабе с помощью своей серии приложений.

Meta объясняет, что планирует полностью завершить создание суперкомпьютера AI Research в 2022 году:

Сегодня RSC включает в себя в общей сложности 760 систем NVIDIA DGX A100 в качестве вычислительных узлов, что в общей сложности составляет 6080 графических процессоров, причем каждый графический процессор A100 более мощный, чем V100, использовавшийся в нашей предыдущей системе. Каждый DGX обменивается данными через двухуровневую матрицу Clos NVIDIA Quantum 1600 Гбит/с InfiniBand. Хранилище RSC включает 175 петабайт Pure Storage FlashArray, 46 петабайт кэш-памяти в системах Penguin Computing Altus и 10 петабайт Pure Storage FlashBlade.

Было протестировано несколько эталонных тестов, показавших, что суперкомпьютер может работать с «десятками миллиардов параметров, [которые] завершают обучение за три недели по сравнению с девятью неделями предыдущей системы».

Суперкомпьютер RSC уже работает, хотя все еще находится в разработке. Meta заявляет, что в настоящее время они находятся на второй фазе проекта, и напоминает читателям, что эта новая разработка станет основой того, что они считают первым этапом своей метавселенной.

* Meta, Facebook и Instagram запрещены в России.