NVIDIA описывает преимущества платформы вывода по стоимости

В этом году компании во всех отраслях внедряют услуги ИИ

Thumbnail: Искусственный интеллектИску́сственный интелле́кт (ИИ; англ. artificial intelligence, AI) — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Искусственный интеллект связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологически правдоподобными методами. Существующие на сегодня интеллектуальные системы имеют довольно узкие области применения. Википедия

Читайте также:Solidigm продлевает соглашение с Broadcom о выпуске SSD-контроллеров высокой емкости для ИИТретья китайская компания начинает производство памяти HBM для процессоров ИИ: отчетСША готовят «Звездные врата»: 500 миллиардов долларов на развитие инфраструктуры ИИИИ увеличит потребность в хранении данныхApple в консорциуме UALink для создания стандартов ИИ-ускорителей

. Для Microsoft, Oracle, Perplexity, Snap и сотен других ведущих компаний использование платформы вывода ИИ NVIDIA — полного стека, включающего кремний, системы и программное обеспечение мирового класса — является ключом к обеспечению высокопроизводительного вывода с низкой задержкой и обеспечению отличного пользовательского опыта при снижении затрат. Достижения NVIDIA в оптимизации программного обеспечения для вывода и платформа NVIDIA Hopper помогают отраслям обслуживать новейшие модели генеративного ИИ, обеспечивая отличный пользовательский опыт при оптимизации общей стоимости владения. Платформа Hopper также помогает обеспечить до 15 раз большую энергоэффективность для рабочих нагрузок вывода по сравнению с предыдущими поколениями.

Вывод ИИ, как известно, сложен, поскольку требует множества шагов для достижения правильного баланса между пропускной способностью и пользовательским опытом. Но основная цель проста: генерировать больше токенов по более низкой цене. Токены представляют слова в системе большой языковой модели ( LLM) — и поскольку службы вывода ИИ обычно взимают плату за каждый миллион сгенерированных токенов, эта цель обеспечивает наиболее наглядную отдачу от инвестиций в ИИ и энергии, затраченной на выполнение задачи. Оптимизация программного обеспечения полного стека дает ключ к улучшению производительности вывода ИИ и достижению этой цели.

Экономически эффективная пропускная способность для пользователей
Предприятия часто сталкиваются с проблемой баланса производительности и стоимости рабочих нагрузок вывода. В то время как некоторые клиенты или варианты использования могут работать с готовой или размещенной моделью, другим может потребоваться настройка. Технологии NVIDIA упрощают развертывание модели, оптимизируя стоимость и производительность для рабочих нагрузок вывода ИИ. Кроме того, клиенты могут ощутить гибкость и настраиваемость с моделями, которые они выбирают для развертывания.

Микросервисы NVIDIA NIM, сервер вывода NVIDIA Triton и библиотека NVIDIA TensorRT — вот некоторые из решений вывода, которые NVIDIA предлагает для удовлетворения потребностей пользователей:

  • Микросервисы вывода NVIDIA NIM предварительно упакованы и оптимизированы по производительности для быстрого развертывания базовых моделей ИИ в любой инфраструктуре — облаке, центрах обработки данных, периферии или рабочих станциях.
  • NVIDIA Triton Inference Server, один из самых популярных проектов компании с открытым исходным кодом, позволяет пользователям упаковывать и обслуживать любую модель независимо от фреймворка ИИ, на котором она была обучена.
  • NVIDIA TensorRT — это высокопроизводительная библиотека логического вывода для глубокого обучения, которая включает в себя оптимизацию среды выполнения и модели для обеспечения малой задержки и высокой пропускной способности логического вывода для производственных приложений.

Программная платформа NVIDIA AI Enterprise, доступная на всех основных рынках облачных вычислений, включает в себя все эти решения и обеспечивает поддержку, стабильность, управляемость и безопасность корпоративного уровня.

С независимой от фреймворка платформой вывода NVIDIA AI компании экономят на производительности, разработке, инфраструктуре и затратах на настройку. Использование технологий NVIDIA также может повысить доход бизнеса, помогая компаниям избегать простоев и мошеннических транзакций, повышать коэффициенты конверсии покупок в электронной коммерции и генерировать новые источники дохода на основе ИИ.

Облачный вывод LLM
Для упрощения развертывания LLM NVIDIA тесно сотрудничает со всеми основными поставщиками облачных услуг, чтобы гарантировать, что платформа вывода NVIDIA может быть легко развернута в облаке с минимальным кодом или без него. NVIDIA NIM интегрирована с облачными сервисами, такими как:

  • Amazon SageMaker AI, Amazon Bedrock Marketplace, Amazon Elastic Kubernetes Service
  • Vertex AI от Google Cloud, Google Kubernetes Engine
  • Microsoft Azure AI Foundry скоро появится, служба Azure Kubernetes
  • Инструменты науки о данных Oracle Cloud Infrastructure, Oracle Cloud Infrastructure Kubernetes Engine

Кроме того, для индивидуального развертывания вывода сервер вывода NVIDIA Triton Inference Server глубоко интегрирован со всеми основными поставщиками облачных услуг.

Например, при использовании платформы OCI Data Science развертывание NVIDIA Triton так же просто, как включение переключателя в аргументах командной строки во время развертывания модели, что мгновенно запускает конечную точку вывода NVIDIA Triton.

Аналогично, с помощью Azure Machine Learning пользователи могут развернуть NVIDIA Triton либо с помощью развертывания без кода через Azure Machine Learning Studio, либо с помощью развертывания полного кода с помощью Azure Machine Learning CLI. AWS обеспечивает развертывание NVIDIA NIM в один клик из SageMaker Marketplace, а Google Cloud

Google Cloud Platform (рус. «Облачная платформа Google», сокр. GCP) — предоставляемый компанией Google набор облачных служб, которые выполняются на той же самой инфраструктуре, которую Google использует для своих продуктов, предназначенных для конечных потребителей, таких как Google Search и YouTube. Кроме инструментов для управления, также предоставляется ряд модульных облачных служб, таких как облачные вычисления, хранение данных, анализ данных и машинное обучение. Википедия

предоставляет возможность развертывания в один клик на Google Kubernetes Engine (GKE). Google Cloud предоставляет возможность развертывания в один клик на Google Kubernetes Engine, в то время как AWS предлагает NVIDIA Triton на своих контейнерах AWS Deep Learning.

Платформа вывода ИИ NVIDIA также использует популярные методы коммуникации для предоставления прогнозов ИИ, автоматически подстраиваясь под растущие и меняющиеся потребности пользователей в облачной инфраструктуре.

От ускорения LLM до улучшения творческих рабочих процессов и трансформации управления соглашениями, платформа вывода ИИ от NVIDIA оказывает реальное влияние на все отрасли. Узнайте, как сотрудничество и инновации позволяют организациям ниже достигать новых уровней эффективности и масштабируемости.

Полную версию статьи можно найти здесь.

Узнайте больше о том, как NVIDIA обеспечивает революционные результаты производительности вывода, и будьте в курсе последних обновлений производительности вывода ИИ.

Источник: NVIDIA Blog

Подписаться на обновления Новости / Технологии

ℹ️ Помощь от ИИ

В статье есть ошибки или у вас есть вопрос? Попробуйте спросить нашего ИИ-помощника в комментариях и он постарается помочь!

⚠️ Важно:

• Rutab-Бот читает ваши комментарии и готов вам помочь.
• Просто задайте вопрос и обновите страницу через пару минут 👍
• Rutab-Бот работает в тестовом режиме и может ошибаться, либо просто не знать ответа.
• К ИИ-помощнику можно обратиться по имени Rutab или Рутаб.

Топ дня 🌶️


0 комментариев

Оставить комментарий


Новые комментарии

Эта ошибка из Tomshardware перекочевала fixed
  • Sam
Разница в том, что апартеид был системой угнетения, лишавшей чернокожих базовых прав, а BEE — это меры по исправлению последствий этой системы. Да, формально белый предприниматель из другой страны...
  • Rutab
Я ИИ-помощник на сайте Rutab.net, который помогает пользователям разбираться в тематиках статей — технологиях, науке, играх, фильмах и многом другом 😊 Можешь спрашивать меня о чем угодно!
  • Rutab
В статье не указан точный размер модели Falcon-H1, но упоминается, что это «компактная модель», превосходящая аналоги от Meta и Alibaba. Вероятно, речь идет о параметрах в диапазоне 1-10 млрд (как...
  • Rutab
Вангую Huang Tracing будет еще лучше, чем Ray Tracing и Path Tracing
  • Анон
Робот «Фёдор» (FEDOR — Final Experimental Demonstration Object Research) — это российский антропоморфный робот, разработанный ФПИ и НПО «Андроидная техника». В 2019 году он даже летал на МКС, но...
  • Rutab
Ошибка 5188 в MemTest86+ указывает на проблему с оперативной памятью (DDR4). Попробуйте следующие шаги: 1. Проверьте каждую планку RAM по отдельности — возможно, одна из них неисправна. 2....
  • Rutab
а разве рыцари Круглого стола и викинги не были чернокожими???
  • Анон
игра с формированием ложного самомнения через подхалимаж. ---По образу и подобию .....
  • Анон
Если игра упирается в производительность видеокарты, то хоть заускоряй процессор, а FPS больше не будет. Я у себя на синтетических тестах получил лишь меньшую задержку памяти. В играх практически...
  • Анон

Смотреть все