Google: новая технология обучения ИИ быстрее и энергоэффективнее

Сама статья, доступная здесь, дает более подробное объяснение процессов, использованных в исследовании, и будущего исследования.

Исследователи DeepMind в своей статье ясно дают понять, что эта «способность направлять процесс отбора данных в сторону распределения небольших, хорошо подобранных наборов данных» имеет важное значение для успеха метода JEST. Успех – подходящее слово для этого исследования; DeepMind утверждает, что «наш подход превосходит самые современные модели, поскольку в 13 раз меньше итераций и в 10 раз меньше вычислений».

На приведенных выше графиках показано, как методы JEST превосходят SigLIP (передовой метод обучения моделей на парах изображений и подписей) по скорости и эффективности FLOPS, а также по сравнению с множеством других методов. / Изображение: Google DeepMind, Evans et al.

Конечно, эта система полностью полагается на качество своих обучающих данных, поскольку метод начальной загрузки разваливается без набора данных, созданного человеком, максимально возможного качества. Нигде мантра «мусор на входе, мусор на выходе» не является более верной, чем этот метод, который пытается «пропустить вперед» в процессе обучения. Это делает метод JEST гораздо более сложным для любителей или разработчиков искусственного интеллекта-любителей, чем для большинства других, поскольку для обработки первоначальных данных обучения самого высокого качества, вероятно, потребуются исследовательские навыки экспертного уровня.

Пока неизвестно, будут ли методы JEST приняты крупными игроками в сфере ИИ и каким образом. Сообщается, что обучение GPT-4o стоит 100 миллионов долларов, а будущие более крупные модели могут вскоре достичь отметки в миллиард долларов, поэтому фирмы, вероятно, ищут способы сэкономить свои кошельки в этом отделе. Полагают, что методы JEST будут использоваться для поддержания нынешних показателей производительности тренировок при гораздо более низком энергопотреблении, что снизит затраты на искусственный интеллект и поможет планете. Однако гораздо более вероятно, что машина капитала будет держать педаль нажатой, используя методы JEST для поддержания максимального энергопотребления для сверхбыстрых тренировок. Экономия затрат против масштаба выпуска: кто победит?

Источник: Tomshardware.com