Сверхточная языковая модель малого языка от Nvidia и Mistral AI работает на ноутбуках и ПК
NVIDIA Corporation (NASDAQ: NVDA) — американская компания, один из крупнейших разработчиков графических ускорителей и процессоров, а также наборов системной логики. На рынке продукция компании известна под такими торговыми марками как GeForce, nForce, Quadro, Tesla, ION и Tegra. Компания была основана в 1993 году. По состоянию на август 2006 года в корпорации насчитывалось более 8 тысяч сотрудников, работающих в 40 офисах по всему миру. Википедия
Читайте также:Indiana Jones and the Great Circle выйдет 9 декабря и получит поддержку NVIDIA DLSS 3.5Black Myth: Wukong и Star Wars Outlaws с DLSS 3 и трассировкой лучейNVIDIA добавляет Black Myth: Wukong и демоверсию FINAL FANTASY XVI в GeForce NOWNvidia анонсирует 20 новых игр DLSS 3 на GamescomNvidia официально анонсировала новую RTX 4070 с более медленной памятью GDDR6
Иску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ.
Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами.
Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия
Читайте также:AMD намерена догнать Nvidia в битве за ИИ с помощью приобретения на сумму 4,9 млрд долларовСоздатель YouTube судится с Nvidia и OpenAI за использование видео в обучении ИИКитайские стартапы выбирают игровые GPU от Nvidia из-за дороговизны аналоговВо втором квартале 2024 года поставлено 8,8 млн ПК с поддержкой ИИИгровые графические процессоры Nvidia с удвоенным объемом видеопамяти для рабочих нагрузок ИИ
Эти оптимизации позволили разработчикам обучить оптимизированную языковую модель на «части исходного набора данных», что привело к экономии затрат до 40 раз с точки зрения сырых вычислений. Обычно модели ИИ должны балансировать между размером модели и точностью, но с новыми методами обрезки и дистилляции Nvidia и Mistral AI языковые модели могут иметь лучшее из обоих миров.
Mistral-NeMo-Minitron 8B, оснащенный этими усовершенствованиями, предположительно лидирует в девяти языковых бенчмарках ИИ с аналогичным размером. Объем сэкономленной вычислительной мощности достаточен для ноутбуков и рабочих станций, чтобы запускать Minitron 8B локально, что делает его более быстрым и безопасным в работе по сравнению с облачными сервисами.
Nvidia разработала Minitron 8B вокруг потребительского компьютерного оборудования. LM упакован как микросервис NIM Nvidia, а модель ИИ оптимизирована для низкой задержки, что улучшает время отклика. Nvidia предоставляет свой собственный сервис моделей AI Foundry, чтобы брать Minitron 8B и манипулировать им для работы на даже менее мощных системах, таких как смартфоны. Точность и производительность не будут такими хорошими, но Nvidia утверждает, что модель все равно будет высокоточным LM, требующим лишь часть обучающих данных и вычислительной инфраструктуры, которые в противном случае понадобились бы.
Обрезка и дистилляция, по-видимому, являются следующим рубежом оптимизации производительности искусственного интеллекта. Теоретически, ничто не мешает разработчикам применять эти методы оптимизации ко всем текущим языковым моделям, что значительно повысит производительность по всем направлениям, включая большие языковые модели, которые могут работать только на фермах серверов с ускорением ИИ.
Источник: Tomshardware.com
0 комментариев