Сверхточная языковая модель малого языка от Nvidia и Mistral AI работает на ноутбуках и ПК

22 августа 2024, 22:02 / Технологии → Новости / Технологии

Nvidia

NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия

и Mistral AI выпустили новую малую языковую модель, которая, как утверждается, обладает точностью «наивысшего уровня» в крошечном следе. Новая LM известна как Mistral-NemMo-Minitron 8B, миниатюрная версия NeMo 12B, которая была урезана с 12 миллиардов до 8 миллиардов параметров.

Новая модель малого языка с 8 миллиардами параметров была сжата с помощью двух различных методов оптимизации ИИ

Thumbnail: Искусственный интеллект Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

, сказал Брайан Катанзаро, вице-президент по исследованиям глубокого обучения в Nvidia, в сообщении в блоге. Команда, стоящая за новым LM, использовала процесс, который сочетает обрезку и дистилляцию. «Обрезка уменьшает размер нейронной сети, удаляя веса модели, которые вносят наименьший вклад в точность. Во время дистилляции команда переобучила эту сокращенную модель на небольшом наборе данных, чтобы значительно повысить точность, которая снизилась из-за процесса обрезки».

Эти оптимизации позволили разработчикам обучить оптимизированную языковую модель на «части исходного набора данных», что привело к экономии затрат до 40 раз с точки зрения сырых вычислений. Обычно модели ИИ должны балансировать между размером модели и точностью, но с новыми методами обрезки и дистилляции Nvidia и Mistral AI языковые модели могут иметь лучшее из обоих миров.

Mistral-NeMo-Minitron 8B, оснащенный этими усовершенствованиями, предположительно лидирует в девяти языковых бенчмарках ИИ с аналогичным размером. Объем сэкономленной вычислительной мощности достаточен для ноутбуков и рабочих станций, чтобы запускать Minitron 8B локально, что делает его более быстрым и безопасным в работе по сравнению с облачными сервисами.

Nvidia разработала Minitron 8B вокруг потребительского компьютерного оборудования. LM упакован как микросервис NIM Nvidia, а модель ИИ оптимизирована для низкой задержки, что улучшает время отклика. Nvidia предоставляет свой собственный сервис моделей AI Foundry, чтобы брать Minitron 8B и манипулировать им для работы на даже менее мощных системах, таких как смартфоны. Точность и производительность не будут такими хорошими, но Nvidia утверждает, что модель все равно будет высокоточным LM, требующим лишь часть обучающих данных и вычислительной инфраструктуры, которые в противном случае понадобились бы.

Обрезка и дистилляция, по-видимому, являются следующим рубежом оптимизации производительности искусственного интеллекта. Теоретически, ничто не мешает разработчикам применять эти методы оптимизации ко всем текущим языковым моделям, что значительно повысит производительность по всем направлениям, включая большие языковые модели, которые могут работать только на фермах серверов с ускорением ИИ.

Источник: Tomshardware.com