Вот как NVIDIA увеличивает скорость GenAI с помощью TensorRT, работающего локально

За последние пару лет популярность искусственного интеллекта резко возросла, причем большую часть этого всплеска обеспечили чат-боты и генераторы изображений. Эти инструменты тщательно обучены на обширных наборах данных, называемых моделями большого языка (LLM), из которых они извлекают результаты, которые мы видим. Однако быстрое получение таких результатов зависит от серьезной вычислительной мощности. Более 100 миллионов пользователей уже используют мощное оборудование NVIDIA для запуска моделей искусственного интеллекта. Это связано с тем, что NVIDIA предлагает оборудование, которое превосходно справляется с этим процессом, известным как логический вывод, с графическими процессорами, включающими ядра, специально разработанные для возможностей искусственного интеллекта, и объединяет это оборудование с программным обеспечением TensorRT, которое оптимизирует производительность, по сути, находя ярлыки для работы с моделями без ущерба для точности.

Эти ядра на базе искусственного интеллекта известны как тензорные ядра и являются основой NVIDIA TensorRT, программного обеспечения, которое позволяет приложениям искусственного интеллекта работать на оборудовании NVIDIA для экстремального ускорения их вывода. В то время как ваш типичный компьютер может иметь аппаратное обеспечение, обеспечивающее производительность от 10 до 45 тераопс искусственного интеллекта (TOPS), новейшие графические процессоры NVIDIA RTX могут работать от 200 до 1300 TOPS, и это локальная обработка на устройстве. Графические процессоры для центров обработки данных могут поднять его на новый уровень.

С распространением графических процессоров NVIDIA RTX для ноутбуков, настольных компьютеров и центров обработки данных, предлагающих тензорные ядра, необходимые для работы с TensorRT SDK, оборудование NVIDIA ускоряет операции искусственного интеллекта по всем направлениям.

Используя TensorRT-LLM, программное обеспечение, которое берет модели искусственного интеллекта и оптимизирует их для работы на оборудовании NVIDIA, эти тензорные ядра можно использовать для работы с новейшими популярными LLM, такими как Llama2 или Mistral. Это позволяет не только быстро запускать эти LLM на устройстве без необходимости пересылки информации между вашим компьютером и центром обработки данных (т. е. без необходимости подключения к Интернету), но также позволяет передавать новую информацию LLM, чтобы настроить ее, а затем запросить ее с учетом этих новых данных.

NVIDIA даже создала ChatRTX, чтобы упростить этот процесс для новых пользователей. Вот краткий обзор того, как это работает.

Благодаря скорости локальной обработки, ускоренной тензорными ядрами, и доступным настройкам, TensorRT и TensorRT-LLM делают ИИ еще более доступным, и это сделало NVIDIA одним из лучших игроков в этой области.

Если в вашей системе работает оборудование NVIDIA RTX, вы можете подключиться к TensorRT прямо сейчас, чтобы начать локально запускать генераторы текста и изображений AI. И это лишь малая часть того, что вы можете сделать.

Чтобы быть в курсе последних разработок TensorRT и возможностей искусственного интеллекта NVIDIA, следите за серией NVIDIA AI Decoded. Там вы найдете новости об искусственном интеллекте, а также полезные и понятные объяснения технологий, работающих за кулисами, и наглядные обзоры того, как другие используют искусственный интеллект на базе RTX для решения самых разных задач.

Подписаться на обновления Новости / Технологии

0 комментариев

Оставить комментарий


Новые комментарии

1c пох на ваши операции, количество ядер и прочее. Умудрились написать ядро четко привязанное к Мгц. Единственный в мире продукт для 1го ядра.
  • Анон
Указан неверный диаметр вентиляторов, не 80 мм, а 100 мм. И чип не 103, а 102.
  • Анон
С прошлым обновлением как раз и появилась эта ошибка. А новое как и написано не дают скачать.
  • Анон
При включении 3D Turbo Mode у вас максимум будет доступно 8 ядер и 8 потоков всего. т.е. если у вас 16 ядерный на 32 потока то будет всего 8 ядер и 8 потоков! Странная оптимизация!
  • Анон
После скачивания вышел синий экран СУПЕР!
  • Анон
требуется указать магазин и purchase date без этого не регистрирует
  • Анон
Россия на них клала❤❤❤❤, будет называться Ладушка 2.0 )))
  • Анон
ДА у меня тоже неработает уже все Вы не знаете каким способом вернуть все обратно СПАСИ
  • Анон
Хаетв Рустам Базарвич Хаетв
  • Анон
Очень довольна приложением. Пользуюсь сама и рекомендую другим.

Смотреть все