AWS разрабатывает суперкомпьютер для ИИ

/ ТехнологииНовости / Технологии

Когда мы пишем о суперкомпьютерах ИИ

Thumbnail: Искусственный интеллектИску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

Читайте также:Глава PlayStation: ИИ не заменит созданный вручную контентРоль человека в создании игр — мнение гендиректора PlayStationСША усиливают санкции против КитаяИнвестиции в стартап Tenstorrent: борьба с NvidiaКитай представил чип «Global Scheduling Ethernet» для предоставления сетевых решений для ИИ

с десятками или даже сотнями тысяч процессоров, мы обычно имеем в виду системы на базе графических процессоров Hopper или Blackwell от Nvidia

NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия

Читайте также:Nvidia привлекает кадры через слияния и поглощенияПродажи дискретных графических процессоров падают, в то время как Nvidia продолжает доминироватьИнвестиции в стартап Tenstorrent: борьба с NvidiaИнсайдер показал изображение графического процессора Nvidia RTX 5090D для КитаяСообщается, что графический процессор Nvidia RTX 5090 GB202 имеет размер кристалла 744 мм²

. Но Nvidia не одинока в решении сверхтребовательных суперкомпьютеров для ИИ, поскольку Amazon

Thumbnail: Amazon.comAmazon.com, Inc. (произносится э́мазон ком инко́рпоре́йтед, в русском языке произносится амазо́н) — американская компания, крупнейшая в мире по обороту среди продающих товары и услуги через Интернет и один из первых интернет-сервисов, ориентированных на продажу реальных товаров массового спроса. Штаб-квартира расположена в Сиэтле (штат Вашингтон). Википедия

Читайте также:Мэттью Риз и Джон Красински снимутся в новом сериале Amazon «Тихая река»Исполнительный продюсер World of Warcraft о новом фильмеAmazon представил кадры из новых эпизодов «Секретного уровня»Cериал Like A Dragon: Yakuza изначально был ориентирован на американского зрителяВ сериале Amazon Tomb Raider может появиться звезда «Игры престолов» в роли Лары Крофт

Web Services на этой неделе заявила, что строит машину с сотнями тысяч своих процессоров Trainium2 для достижения производительности примерно 65 ExaFLOPS для ИИ. Компания также представила свой процессор Trainium3, который увеличит производительность в четыре раза по сравнению с Trainium2.
AWS Trainium2 — это ускоритель ИИ второго поколения от Amazon, разработанный для фундаментальных моделей (FM) и больших языковых моделей (LLM) и разработанный Annapurna Labs от Amazon. Устройство представляет собой многоплитковую систему в упаковке с двумя вычислительными плитками, 96 ГБ HBM3

Thumbnail: Высокопропускная памятьВысокопропускная память (англ. high bandwidth memory, HBM) — высокопроизводительный интерфейс ОЗУ для DRAM с многослойной компоновкой кристаллов в микросборке от компаний AMD и Hynix, применяемая в высокопроизводительных видеокартах и сетевых устройствах; основной конкурент технологии Hybrid Memory Cube от Micron. AMD Fiji и AMD Arctic Islands являются первыми видеопроцессорами, использующими НВМ. Была стандартизирована JEDEC в октябре 2013 года как JESD235, HBM2 стандартизована в январе 2016 года под кодом JESD235a. На середину 2016 года сообщалось о работах над HBM3 и более дешёвым вариантом HBM, иногда называемом HBM2e. Википедия

с использованием четырех стеков и двумя статическими чиплетами для единообразия пакета. Когда AWS представила Trainium2 в прошлом году, она не поделилась какими-либо конкретными показателями производительности для Trainium2, но заявила, что экземпляры Trn2 могут масштабироваться до 100 000 процессоров, обеспечивая 65 ExaFLOPS вычислительной производительности низкой точности для ИИ, что означает, что один чип может обеспечить до 650 TFLOPS. Но похоже, что это была консервативная оценка.

Изображение: AWS

На конференции re:Invent 2024 компания AWS сделала три объявления, связанных с Trainium2:

Во-первых, теперь общедоступны инстансы Amazon Elastic Compute Cloud (Amazon EC2) EC2 Trn2 на базе AWS Trainium2. Эти инстансы оснащены 16 процессорами Trainium2, соединенными с помощью соединения NeuronLink, которые обеспечивают производительность до 20,8 FP8 PetaFLOPS и 1,5 ТБ памяти HBM3 с пиковой пропускной способностью 46 ТБ/с. Это по сути означает, что каждый Trainium2 обеспечивает производительность до 1,3 FP8 для ИИ, что вдвое выше показателя, обсуждавшегося в прошлом году. Возможно, AWS нашла способ оптимизировать производительность процессора, или, может быть, она ранее приводила цифры FP16, но 1,3 петафлопса производительности FP8 сопоставимы с производительностью FP8 Nvidia H100 в 1,98 FP8 (без разреженности).

Во-вторых, AWS строит EC2 Trn2 UltraServers с 64 взаимосвязанными чипами Trainium2, которые предлагают 83,2 FP8 PetaFLOPS производительности, а также 6 ТБ памяти HBM3 с пиковой пропускной способностью 185 ТБ/с. Машины используют сетевое соединение Elastic Fabric Adapter (EFA) 12,8 Тбит/с для взаимодействия.

Наконец, AWS и Anthropic

Anthropic — американский стартап и общественно-полезная корпорация в сфере искусственного интеллекта (ИИ), основанная бывшими сотрудниками OpenAI. Anthropic специализируется на разработке общих систем искусственного интеллекта и языковых моделей, придерживаясь корпоративной этики ответственного использования ИИ. С конца 2022 года Google инвестировал в компанию почти 400 миллионов долларов, а Anthropic объявила о формальном партнерстве с Google Cloud. Википедия

Читайте также:Anthropic и Palantir объединяются для внедрения моделей ИИ Claude в AWSAnthropic создаёт новую модель ИИ Claude 3.5 SonnetAmazon инвестирует до $4 млрд в ИИ-стартап Anthropic

строят гигантский EC2 UltraCluster из Trn2 UltraServers под кодовым названием Project Rainier. Система будет работать на сотнях тысяч процессоров Trainium2, которые обеспечивают производительность в пять раз выше ExaFLOPS, чем Anthropic в настоящее время использует для обучения своих ведущих моделей ИИ, таких как Sonnet и Opus. Ожидается, что машина будет связана с сетями EFA третьего поколения с низкой задержкой и петабитным масштабом.

AWS не раскрывает, сколько процессоров Trainium2 будет использовать EC2 UltraCluster, но если предположить, что максимальная масштабируемость экземпляров Trn2 составляет 100 000 процессоров, то это говорит о системе с производительностью около 130 FP8 ExaFLOPS, что довольно много и эквивалентно примерно 32 768 процессорам Nvidia H100.

«Trainium2 специально создан для поддержки самых крупных и самых современных генеративных рабочих нагрузок ИИ, как для обучения, так и для вывода, а также для обеспечения наилучшего соотношения цены и производительности на AWS», — сказал Дэвид Браун, вице-президент по вычислениям и сетевым технологиям в AWS. «Поскольку модели приближаются к триллионам параметров, мы понимаем, что клиентам также нужен новый подход к обучению и запуску этих огромных рабочих нагрузок. Новые Trn2 UltraServers предлагают самую быструю производительность обучения и вывода на AWS и помогают организациям всех размеров обучать и развертывать самые большие в мире модели быстрее и с меньшими затратами».

Кроме того, AWS представила процессор Trainium3 следующего поколения, который будет производиться по 3-нм техпроцессу TSMC, обеспечивать более высокую производительность, чем его предшественники, и станет доступен клиентам AWS в 2025 году. Amazon ожидает, что Trn3 UltraServers будут в четыре раза быстрее Trn2 UltraServers, достигнув 332,9 FP8 PetaFLOPS на машину и 5,2 FP8 PetaFLOPS на процессор, если количество процессоров останется на уровне 64.

Источник: Tomshardware.com

Подписаться на обновления Новости / Технологии

0 комментариев

Оставить комментарий


Новые комментарии

Поддерживаю. А еще если брать в разрезе Илон Маск и безопасность данных, то вообще смешно. Особенно для жителей РФ)О конфиденциальности можно забыть
  • Анон
1c пох на ваши операции, количество ядер и прочее. Умудрились написать ядро четко привязанное к Мгц. Единственный в мире продукт для 1го ядра.
  • Анон
Указан неверный диаметр вентиляторов, не 80 мм, а 100 мм. И чип не 103, а 102.
  • Анон
С прошлым обновлением как раз и появилась эта ошибка. А новое как и написано не дают скачать.
  • Анон
При включении 3D Turbo Mode у вас максимум будет доступно 8 ядер и 8 потоков всего. т.е. если у вас 16 ядерный на 32 потока то будет всего 8 ядер и 8 потоков! Странная оптимизация!
  • Анон
После скачивания вышел синий экран СУПЕР!
  • Анон
требуется указать магазин и purchase date без этого не регистрирует
  • Анон
Россия на них клала❤❤❤❤, будет называться Ладушка 2.0 )))
  • Анон
ДА у меня тоже неработает уже все Вы не знаете каким способом вернуть все обратно СПАСИ
  • Анон
Хаетв Рустам Базарвич Хаетв
  • Анон

Смотреть все