Qualcomm на CES 2025: локальное ИИ-решение и инструменты

Используя решение AI On-Prem Appliance Solution совместно с AI Inference Suite, клиенты теперь могут использовать генеративный ИИ, используя свои собственные данные, точно настроенные модели и технологическую инфраструктуру для автоматизации человеческих и машинных процессов и приложений практически в любой конечной среде, например, в розничных магазинах, ресторанах быстрого обслуживания, торговых точках, дилерских центрах, больницах, на заводах и в цехах, где рабочий процесс хорошо отлажен, повторяем и готов к автоматизации.

«Наше новое решение AI On-Prem Appliance Solution и AI Inference Suite меняют экономику совокупной стоимости владения при развертывании ИИ, позволяя обрабатывать рабочие нагрузки генеративного ИИ из облака в локальное развертывание. Для широкого спектра вариантов использования автоматизации ИИ, таких как помощники в магазине, обучение работников, получение информации по конкретному объекту, соблюдение требований безопасности, а также обеспечение продаж и обслуживания в магазине, дилерских центрах или на заводах, наше решение AI On-Prem Appliance Solution значительно снижает эксплуатационные расходы ИИ для корпоративных и промышленных нужд», — сказал Накул Дуггал, генеральный менеджер группы по автомобильной промышленности, промышленному Интернету вещей и облачным вычислениям компании Qualcomm Technologies, Inc. «Теперь предприятия могут ускорить развертывание приложений генеративного ИИ, используя собственные модели, с конфиденциальностью, персонализацией и настройкой, сохраняя при этом полный контроль и уверенность в том, что их данные не покинут их помещения».

• Масштабируемость от автономного настольного продукта до кластера настенных устройств, который предоставляет множество локальных служб ИИ, таких как встроенные голосовые агенты, выгрузка небольших языковых моделей (SLM), крупных языковых моделей (LLM) и крупных мультимодальных моделей (LMM), а также функции расширенной генерации поиска (RAG) для интеллектуального индексированного поиска и резюмирования, агентского ИИ, автоматизации рабочих процессов ИИ, генерации изображений, генерации кода, компьютерного зрения и обработки данных с камеры.
• Поддержка широкого спектра моделей генеративного ИИ, обработки естественного языка и компьютерного зрения, как с открытым исходным кодом, так и собственных, что позволяет автоматизировать рабочие процессы для многих корпоративных приложений, таких как интеллектуальный многоязычный поиск, настраиваемые помощники и агенты ИИ, генерация кода, автоматизированное составление черновиков и создание заметок и многое другое.
• Искусственный интеллект камеры с обработкой изображений, видео и потоковой передачи данных для приложений компьютерного зрения, ориентированных на безопасность, охрану и мониторинг объектов.

Qualcomm AI Inference Suite for On-Prem предоставляет корпоративным клиентам и сторонним разработчикам полный набор инструментов и библиотек для разработки или переноса приложений генеративного ИИ в AI On-Prem Appliance Solution. Он включает в себя богатый набор интерфейсов прикладного программирования (API), включая управление пользователями и администрирование, чат, генерацию изображений, аудио- и видеовозможности генеративного ИИ, совместимость с API OpenAI и RAG. Пакет поддерживает интеграцию с популярными моделями генеративного ИИ, фреймворками и развертывание с использованием Kubernetes или пустых контейнеров.

Лидеры отрасли используют локальное решение Qualcomm AI и пакет AI Inference Suite
Honeywell сотрудничает с Qualcomm Technologies в области проектирования, оценки и/или развертывания вариантов использования автоматизации рабочих процессов на основе ИИ с использованием локального решения AI On-Prem и пакета AI Inference Suite.

Aetina — один из первых OEM-производителей, поставляющих локальное оборудование для корпоративных развертываний на основе решения AI On-Prem Appliance. Эти компактные настенные локальные устройства AI используют сочетание SLM для обработки естественного языка, а также тонко настроенные LLM и LMM (до 70B параметров) для запуска корпоративных агентов AI, поддерживающих ответы в реальном времени и функции автоматизации рабочих процессов AI, такие как интеллектуальный индексированный поиск и создание контента — все это обеспечивается лучшим в своем классе энергопотреблением и превосходной архитектурой стоимости владения.

IBM сотрудничает с целью внедрения своей платформы данных и ИИ watsonx, а также семейства моделей ИИ Granite для развертывания на локальных устройствах ИИ, а также в облаке, для поддержки различных корпоративных и промышленных вариантов использования в автомобильной промышленности, производстве, розничной торговле и телекоммуникациях.

Источник: Qualcomm