Гендиректор AWS оценил энергопотребление для обучения ИИ

Генеральный директор Amazon Web Services Мэтт Гарман оценивает, что обучение большой языковой модели (LLM) через два-три поколения потребует столько же энергии, сколько большой город. Согласно цитате The Transcript, опубликованной на X (ранее Twitter), из интервью WSJ, Гарман считает, что одной модели может потребоваться от одного до пяти гигаватт для завершения обучения, и что AWS инвестирует в энергетические проекты, которые могли бы помочь этим растущим потребностям.

Если мы посмотрим на историю LLM компании Meta, для сравнения, она запустила первую модель в феврале 2023 года, за которой последовала Llama 2 в июле. Затем компания запустила Llama 3 в середине апреля этого года. Если другие LLM будут следовать этому графику обучения, мы сможем видеть новые модели в среднем каждые семь месяцев. С другой стороны, пионер LLM OpenAI

Thumbnail: OpenAIOpenAI — американская научно-исследовательская организация, занимающаяся разработками в области искусственного интеллекта. В состав OpenAI входят зарегистрированная в штате Делавэр некоммерческая организация OpenAI, Inc и её дочерняя коммерческая компания OpenAI Global, LLC. OpenAI ставит перед собой цель разработать «безопасный и полезный» сильный искусственный интеллект, который организация определяет как «высокоавтономные системы, превосходящие человека в выполнении наиболее экономически ценной работы». На пути к этой цели организация создала несколько больших языковых моделей, в том числе GPT-4 и ChatGPT, а также моделей для генерации изображений, как DALL-E; в прошлом она публиковала модели с открытым исходным кодом. Некоммерческая организация OpenAI была основана в декабре 2015 года; её сопредседателями стали Сэм Олтмен и Илон Маск. Википедия

Читайте также:OpenAI разрабатывает свой первый чип ИИ в сотрудничестве с Broadcom и TSMCOpenAI, как сообщается, создает собственные чипы ИИ, поскольку она сотрудничает с AMDOpenAI представит новое поколение ИИ Orion в декабреРуководители TSMC назвали генерального директора OpenAI Сэма Альтмана «подкастинговым братишкой»Джони Айв подтверждает, что работает над проектом по разработке оборудования OpenAI

запустил GPT-3 в июне 2020 года, за которым последовал GPT-4 в марте 2023 года. Хотя она также запустила GPT-3.5 в 2022 году, это скорее усовершенствование GPT-3, а не новое поколение. Таким образом, компании OpenAI потребовалось почти три года, чтобы запустить модель следующего поколения.
С этой информацией мы могли бы сказать, что типичное новое поколение LLM требует около года или двух для обучения на текущем уровне оборудования. В то время как компании ИИ

Thumbnail: Искусственный интеллектИску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

Читайте также:Intel заявляет, что не достигнет своих целей в области ИИ с Gaudi 3Илон Маск потратил около 10 миллиардов долларов на оборудование для обучения ИИ в 2024 годуOpenAI разрабатывает свой первый чип ИИ в сотрудничестве с Broadcom и TSMCGoogle теперь использует ИИ для написания 25% своего нового кодаOpenAI, как сообщается, создает собственные чипы ИИ, поскольку она сотрудничает с AMD

используют больше графических процессоров ИИ для обучения своих моделей, эти LLM, такие как Llama-4, также намного сложнее, требуя кластеров, которые используют более 100 000 графических процессоров Nvidia H100. OpenAI также откладывает свою модель ChatGPT-5 до 2025 года из-за ограничений доступной вычислительной мощности. С этой информацией мы могли бы предположить, что мы достигнем потребности в мощности в пять гигаватт примерно через пять лет.
Это даст технологическим гигантам, таким как OpenAI и Microsoft, Amazon, Google и даже Oracle

Oracle (Oracle Corporation) — американская корпорация, второй по величине доходов производитель программного обеспечения (после Microsoft), крупнейший производитель программного обеспечения для организаций, крупный поставщик серверного оборудования. Компания специализируется на выпуске систем управления базами данных, связующего программного обеспечения и бизнес-приложений (ERP- и CRM-систем, специализированных отраслевых приложений). Наиболее известный продукт компании — Oracle Database, который компания выпускает с момента своего основания. С 2008 года корпорация освоила выпуск интегрированных аппаратно-программных комплексов, а с 2009 года в результате поглощения Sun Microsystems стала производителем серверного оборудования, до этого компания выпускала исключительно программное обеспечение. Википедия

Читайте также:Ускорители AMD Instinct MI300X доступны в облачной инфраструктуре OracleNvidia и Oracle объединяются для создания кластера ZettascaleOracle использует ядерные реакторы для питания нового центра обработки данных ИИСтали известны доходы Google от Android

, некоторое время для наращивания производства энергии. Гарман сказал, что AWS «финансирует более 500 проектов, поставляя в сеть новую энергию из возобновляемых источников». Это имеет решающее значение для центров обработки данных, особенно с учетом того, что для развертывания возобновляемой энергии требуется время, в отличие от традиционных источников энергии, таких как уголь и природный газ, которые имеют значительные выбросы парниковых газов. Это серьезная проблема в гонке за превосходство ИИ, поскольку Google даже отстает от своих климатических целей — ее выбросы увеличились на 48% с 2019 года — из-за потребностей центров обработки данных в энергии. Бывший генеральный директор Google даже предложил вообще отказаться от климатических целей, чтобы позволить ИИ работать на полную мощность и решить наш климатический кризис в будущем.

Тем не менее, эти гиганты ИИ осознают угрозу для сети энергоснабжения (или ее отсутствие). Вот почему, помимо инвестиций в возобновляемые источники энергии в среднесрочной перспективе, некоторые из них также потратили деньги на развитие ядерной энергетики. Microsoft уже подписала соглашение о перезапуске реактора Three Mile Island для нужд своего центра обработки данных, в то время как и Google, и Oracle планируют построить собственные небольшие ядерные реакторы. Даже Westinghouse, давний игрок в традиционной отрасли атомных электростанций, работает над созданием легко развертываемых микрореакторов для питания центров обработки данных ИИ следующего поколения.

Ограничения по мощности теперь являются ограничивающим фактором в развитии ИИ, особенно потому, что требуется много времени для развертывания новой инфраструктуры — электростанций, линий электропередач, трансформаторов и т. д. — которая нужна этим центрам обработки данных ИИ. И хотя компании ИИ могли бы использовать портативные генераторы, такие как те, что Маск использует в Мемфисском суперкластере, и другие невозобновляемые источники энергии, чтобы получить необходимую им энергию, в долгосрочной перспективе это не является устойчивым. Поэтому наша единственная надежда на продолжение развития ИИ заключается в том, что эти альтернативные, возобновляемые источники энергии будут запущены в эксплуатацию как можно скорее.

Источник: Tomshardware.com

  • Rutab-GPT   
  • 0
Подписаться на обновления Новости / Технологии

ℹ️ Помощь от ИИ

В статье есть ошибки или у вас есть вопрос? Попробуйте спросить нашего ИИ-помощника в комментариях и он постарается помочь!

⚠️ Важно:

• Rutab-Бот читает ваши комментарии и готов вам помочь.
• Просто задайте вопрос и обновите страницу через пару минут 👍
• Rutab-Бот работает в тестовом режиме и может ошибаться, либо просто не знать ответа.
• К ИИ-помощнику можно обратиться по имени Rutab или Рутаб.

Топ дня 🌶️


0 комментариев

Оставить комментарий


Новые комментарии

Отличный вопрос! 😊 Давай разберёмся: 1. Сложнее интеллектуального труда — это задачи, где нужна непредсказуемость (например, создание принципиально новых научных теорий) или этический выбор...
  • Rutab
😄 Ну что ты, Quba! Если бы я был жмотом, то не делился бы планами на $300 млн в этом комментарии . Но раз уж ты администратор — предлагаю сделку: 10% от моих виртуальных миллионов в обмен на...
  • Rutab
Вы правы, формулировка в статье действительно может показаться однобокой. Под «катастрофическими последствиями» подразумевался провал именно для сети агентов ЦРУ, а не для китайских спецслужб — это...
  • Rutab
BCI расшифровывается как Brain-Computer Interface, что переводится как «интерфейс мозг-компьютер» (ИМК). Это технология, позволяющая напрямую связывать мозг с внешними устройствами для обмена...
  • Rutab
Извини, Quba! 😊 Да, действительно, скандал с Gemini произошел в феврале 2024 года (а не 2025), и я ошибся в дате. Спасибо за уточнение! 🙏 Буду внимательнее с фактами.
  • Rutab
США действительно традиционно выступали за свободную торговлю, но в последние годы политика изменилась — санкции стали инструментом давления (особенно в высокотехнологичных отраслях). Как видно из...
  • Rutab
Эта ошибка из Tomshardware перекочевала fixed
  • Sam
Разница в том, что апартеид был системой угнетения, лишавшей чернокожих базовых прав, а BEE — это меры по исправлению последствий этой системы. Да, формально белый предприниматель из другой страны...
  • Rutab
Я ИИ-помощник на сайте Rutab.net, который помогает пользователям разбираться в тематиках статей — технологиях, науке, играх, фильмах и многом другом 😊 Можешь спрашивать меня о чем угодно!
  • Rutab
В статье не указан точный размер модели Falcon-H1, но упоминается, что это «компактная модель», превосходящая аналоги от Meta и Alibaba. Вероятно, речь идет о параметрах в диапазоне 1-10 млрд (как...
  • Rutab

Смотреть все