Гендиректор AWS оценил энергопотребление для обучения ИИ

3 ноября 2024, 17:38 / Технологии → Новости / Технологии

Генеральный директор Amazon Web Services Мэтт Гарман оценивает, что обучение большой языковой модели (LLM) через два-три поколения потребует столько же энергии, сколько большой город. Согласно цитате The Transcript, опубликованной на X (ранее Twitter), из интервью WSJ, Гарман считает, что одной модели может потребоваться от одного до пяти гигаватт для завершения обучения, и что AWS инвестирует в энергетические проекты, которые могли бы помочь этим растущим потребностям.

Если мы посмотрим на историю LLM компании Meta, для сравнения, она запустила первую модель в феврале 2023 года, за которой последовала Llama 2 в июле. Затем компания запустила Llama 3 в середине апреля этого года. Если другие LLM будут следовать этому графику обучения, мы сможем видеть новые модели в среднем каждые семь месяцев. С другой стороны, пионер LLM OpenAI

Thumbnail: OpenAI OpenAI — американская научно-исследовательская организация, занимающаяся разработками в области искусственного интеллекта. В состав OpenAI входят зарегистрированная в штате Делавэр некоммерческая организация OpenAI, Inc и её дочерняя коммерческая компания OpenAI Global, LLC. OpenAI ставит перед собой цель разработать «безопасный и полезный» сильный искусственный интеллект, который организация определяет как «высокоавтономные системы, превосходящие человека в выполнении наиболее экономически ценной работы». На пути к этой цели организация создала несколько больших языковых моделей, в том числе GPT-4 и ChatGPT, а также моделей для генерации изображений, как DALL-E; в прошлом она публиковала модели с открытым исходным кодом. Некоммерческая организация OpenAI была основана в декабре 2015 года; её сопредседателями стали Сэм Олтмен и Илон Маск. Википедия

запустил GPT-3 в июне 2020 года, за которым последовал GPT-4 в марте 2023 года. Хотя она также запустила GPT-3.5 в 2022 году, это скорее усовершенствование GPT-3, а не новое поколение. Таким образом, компании OpenAI потребовалось почти три года, чтобы запустить модель следующего поколения.

С этой информацией мы могли бы сказать, что типичное новое поколение LLM требует около года или двух для обучения на текущем уровне оборудования. В то время как компании ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

используют больше графических процессоров ИИ для обучения своих моделей, эти LLM, такие как Llama-4, также намного сложнее, требуя кластеров, которые используют более 100 000 графических процессоров Nvidia H100. OpenAI также откладывает свою модель ChatGPT-5 до 2025 года из-за ограничений доступной вычислительной мощности. С этой информацией мы могли бы предположить, что мы достигнем потребности в мощности в пять гигаватт примерно через пять лет.

Это даст технологическим гигантам, таким как OpenAI и Microsoft, Amazon, Google

Google: Google — поисковая система. Google — компания Google Inc. Google Foundation — благотворительный фонд. Google.by — домен и сайт, до 2009 года принадлежавший белорусской компании ActiveMedia. Википедия

и даже Oracle

Oracle (Oracle Corporation) — американская корпорация, второй по величине доходов производитель программного обеспечения (после Microsoft), крупнейший производитель программного обеспечения для организаций, крупный поставщик серверного оборудования. Компания специализируется на выпуске систем управления базами данных, связующего программного обеспечения и бизнес-приложений (ERP- и CRM-систем, специализированных отраслевых приложений). Наиболее известный продукт компании — Oracle Database, который компания выпускает с момента своего основания. С 2008 года корпорация освоила выпуск интегрированных аппаратно-программных комплексов, а с 2009 года в результате поглощения Sun Microsystems стала производителем серверного оборудования, до этого компания выпускала исключительно программное обеспечение. Википедия

, некоторое время для наращивания производства энергии. Гарман сказал, что AWS «финансирует более 500 проектов, поставляя в сеть новую энергию из возобновляемых источников». Это имеет решающее значение для центров обработки данных, особенно с учетом того, что для развертывания возобновляемой энергии требуется время, в отличие от традиционных источников энергии, таких как уголь и природный газ, которые имеют значительные выбросы парниковых газов. Это серьезная проблема в гонке за превосходство ИИ, поскольку Google даже отстает от своих климатических целей — ее выбросы увеличились на 48% с 2019 года — из-за потребностей центров обработки данных в энергии. Бывший генеральный директор Google даже предложил вообще отказаться от климатических целей, чтобы позволить ИИ работать на полную мощность и решить наш климатический кризис в будущем.

Тем не менее, эти гиганты ИИ осознают угрозу для сети энергоснабжения (или ее отсутствие). Вот почему, помимо инвестиций в возобновляемые источники энергии в среднесрочной перспективе, некоторые из них также потратили деньги на развитие ядерной энергетики. Microsoft уже подписала соглашение о перезапуске реактора Three Mile Island для нужд своего центра обработки данных, в то время как и Google, и Oracle планируют построить собственные небольшие ядерные реакторы. Даже Westinghouse, давний игрок в традиционной отрасли атомных электростанций, работает над созданием легко развертываемых микрореакторов для питания центров обработки данных ИИ следующего поколения.

Ограничения по мощности теперь являются ограничивающим фактором в развитии ИИ, особенно потому, что требуется много времени для развертывания новой инфраструктуры — электростанций, линий электропередач, трансформаторов и т. д. — которая нужна этим центрам обработки данных ИИ. И хотя компании ИИ могли бы использовать портативные генераторы, такие как те, что Маск использует в Мемфисском суперкластере, и другие невозобновляемые источники энергии, чтобы получить необходимую им энергию, в долгосрочной перспективе это не является устойчивым. Поэтому наша единственная надежда на продолжение развития ИИ заключается в том, что эти альтернативные, возобновляемые источники энергии будут запущены в эксплуатацию как можно скорее.

Источник: Tomshardware.com