Google: новая технология обучения ИИ быстрее и энергоэффективнее

7 июля 2024, 23:33 / Технологии → Новости / Технологии

Google

Google: Google — поисковая система. Google — компания Google Inc. Google Foundation — благотворительный фонд. Google.by — домен и сайт, до 2009 года принадлежавший белорусской компании ActiveMedia. Википедия

DeepMind, исследовательская лаборатория Google в области искусственного интеллекта, опубликовала новое исследование по обучению моделей искусственного интеллекта, в котором утверждается, что они значительно ускоряют скорость обучения и энергоэффективность на порядок, обеспечивая в 13 раз большую производительность и в десять раз более высокую энергоэффективность, чем другие методы. Новый метод обучения JEST появился своевременно, поскольку разговоры о влиянии центров обработки данных искусственного интеллекта на окружающую среду становятся все жарче.

Метод DeepMind, получивший название JEST или совместный выбор примеров, отличается от традиционных методов обучения моделей ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

простым способом. Типичные методы обучения фокусируются на отдельных точках данных для обучения и обучения, тогда как JEST обучает на основе целых пакетов. Метод JEST сначала создает меньшую модель искусственного интеллекта, которая будет оценивать качество данных из чрезвычайно высококачественных источников, ранжируя пакеты по качеству. Затем он сравнивает эту оценку с более крупным набором более низкого качества. Небольшая модель JEST определяет пакеты, наиболее подходящие для обучения, а затем на основе результатов меньшей модели обучается большая модель.

Сама статья, доступная здесь, дает более подробное объяснение процессов, использованных в исследовании, и будущего исследования.

Исследователи DeepMind в своей статье ясно дают понять, что эта «способность направлять процесс отбора данных в сторону распределения небольших, хорошо подобранных наборов данных» имеет важное значение для успеха метода JEST. Успех – подходящее слово для этого исследования; DeepMind утверждает, что «наш подход превосходит самые современные модели, поскольку в 13 раз меньше итераций и в 10 раз меньше вычислений».

На приведенных выше графиках показано, как методы JEST превосходят SigLIP (передовой метод обучения моделей на парах изображений и подписей) по скорости и эффективности FLOPS, а также по сравнению с множеством других методов. / Изображение: Google DeepMind, Evans et al.

Конечно, эта система полностью полагается на качество своих обучающих данных, поскольку метод начальной загрузки разваливается без набора данных, созданного человеком, максимально возможного качества. Нигде мантра «мусор на входе, мусор на выходе» не является более верной, чем этот метод, который пытается «пропустить вперед» в процессе обучения. Это делает метод JEST гораздо более сложным для любителей или разработчиков искусственного интеллекта-любителей, чем для большинства других, поскольку для обработки первоначальных данных обучения самого высокого качества, вероятно, потребуются исследовательские навыки экспертного уровня.

Исследование JEST появилось как раз вовремя, поскольку технологическая индустрия и мировые правительства начинают обсуждать экстремальные требования к мощности искусственного интеллекта. В 2023 году рабочие нагрузки ИИ составили около 4,3 ГВт, что почти соответствует годовому энергопотреблению страны Кипр. И ситуация определенно не замедляется: один запрос ChatGPT стоит в 10 раз дороже, чем поиск в Google, а по оценкам генерального директора Arm, к 2030 году искусственный интеллект

займет четверть энергосистемы США.

Пока неизвестно, будут ли методы JEST приняты крупными игроками в сфере ИИ и каким образом. Сообщается, что обучение GPT-4o стоит 100 миллионов долларов, а будущие более крупные модели могут вскоре достичь отметки в миллиард долларов, поэтому фирмы, вероятно, ищут способы сэкономить свои кошельки в этом отделе. Полагают, что методы JEST будут использоваться для поддержания нынешних показателей производительности тренировок при гораздо более низком энергопотреблении, что снизит затраты на искусственный интеллект и поможет планете. Однако гораздо более вероятно, что машина капитала будет держать педаль нажатой, используя методы JEST для поддержания максимального энергопотребления для сверхбыстрых тренировок. Экономия затрат против масштаба выпуска: кто победит?

Источник: Tomshardware.com