AMD запускает GAIA — проект LLM для Ryzen AI NPU

Введение в GAIA
GAIA — это генеративное приложение ИИ, разработанное для запуска локальных, частных LLM на ПК с Windows и оптимизированное для оборудования AMD Ryzen AI (процессоры AMD Ryzen AI 300 серии). Эта интеграция обеспечивает более быструю и эффективную обработку — т. е. более низкое энергопотребление — при этом ваши данные остаются локальными и безопасными. На ПК с Ryzen AI GAIA взаимодействует с NPU и iGPU для бесперебойного запуска моделей с помощью открытого исходного кода Lemonade (LLM-Aid) SDK от ONNX TurnkeyML для вывода LLM. GAIA поддерживает различные локальные LLM, оптимизированные для запуска на ПК с Ryzen AI. Популярные модели, такие как производные Llama и Phi, можно адаптировать для различных вариантов использования, таких как вопросы и ответы, резюмирование и сложные задачи рассуждения.

Начало работы с GAIA
Чтобы начать работу с GAIA менее чем за 10 минут. Следуйте инструкциям по загрузке и установке GAIA на ваш ПК Ryzen AI. После установки вы можете запустить GAIA и начать изучать ее различные агенты и возможности. Существует 2 версии GAIA:

• 1) Установщик GAIA — он запустится на любом ПК с ОС Windows, однако производительность может быть ниже.
• 2) Гибридный установщик GAIA — этот пакет оптимизирован для работы на ПК с процессорами Ryzen AI и использует NPU и iGPU для повышения производительности.

Агент RAG Pipeline
Одной из выдающихся особенностей GAIA является конвейер Retrieval-Augmented Generation (RAG) агента. Этот конвейер объединяет LLM с базой знаний, позволяя агенту извлекать соответствующую информацию, рассуждать, планировать и использовать внешние инструменты в интерактивной среде чата. Это приводит к более точным и контекстно-зависимым ответам.

Текущие агенты GAIA предоставляют следующие возможности:

• Простое оперативное заполнение: нет агента для прямого взаимодействия с моделью для тестирования и оценки.
• Chaty: чат-бот LLM с историей, который вступает в беседу с пользователем.
• Клип: Agentic RAG для поиска на YouTube и агента вопросов и ответов.
• Джокер: простой генератор шуток, использующий RAG, чтобы подарить пользователю чувство юмора.

В настоящее время разрабатываются дополнительные агенты, и разработчикам предлагается создать и добавить в GAIA своих собственных агентов.

Как работает GAIA?
Левая часть рисунка 2: Обзорная диаграмма GAIA иллюстрирует функциональность Lemonade SDK от TurnkeyML. Lemonade SDK предоставляет инструменты для задач, специфичных для LLM, таких как подсказки, измерение точности и обслуживание в нескольких средах выполнения (например, Hugging Face, ONNX Runtime GenAI API) и аппаратных средствах (CPU, iGPU и NPU).

Lemonade предоставляет веб-сервис LLM, который взаимодействует с приложением GAIA (справа) через совместимый с OpenAI REST API. GAIA состоит из трех ключевых компонентов:

• 1) LLM Connector — соединяет веб-API службы NPU с конвейером RAG на основе LlamaIndex.
• 2) LlamaIndex RAG Pipeline — включает в себя механизм запросов и векторную память, которая обрабатывает и хранит соответствующую внешнюю информацию.
• 3) Веб-сервер агента — подключается к пользовательскому интерфейсу GAIA через WebSocket, обеспечивая взаимодействие с пользователем.

С правой стороны рисунка GAIA действует как агент на базе ИИ, который извлекает и обрабатывает данные. Он векторизует внешний контент (например, GitHub, YouTube, текстовые файлы) и сохраняет его в локальном векторном индексе. Когда пользователь отправляет запрос, происходит следующий процесс:

• 1) Запрос отправляется в GAIA, где он преобразуется в вектор внедрения.
• 2) Векторизованный запрос используется для извлечения соответствующего контекста из индексированных данных.
• 3) Извлеченный контекст передается в веб-службу, где он встраивается в приглашение LLM.
• 4) LLM генерирует ответ, который передается обратно через веб-сервис GAIA и отображается в пользовательском интерфейсе.

Этот процесс гарантирует, что пользовательские запросы будут дополнены соответствующим контекстом перед обработкой LLM, что повышает точность и релевантность ответа. Окончательный ответ доставляется пользователю в режиме реального времени через пользовательский интерфейс.

Преимущества локального управления LLM
Локальное выполнение LLM на NPU имеет ряд преимуществ:

• Улучшенная конфиденциальность, поскольку никакие данные не должны покидать вашу машину. Это устраняет необходимость отправки конфиденциальной информации в облако, значительно повышая конфиденциальность и безопасность данных, при этом обеспечивая высокопроизводительные возможности ИИ.
• Сокращение задержек, поскольку нет необходимости взаимодействовать с облаком.
• Оптимизированная производительность с помощью NPU, обеспечивающая более быстрое время отклика и снижение энергопотребления.

Сравнение NPU и iGPU
Запуск GAIA на NPU приводит к повышению производительности для задач, специфичных для ИИ, поскольку он разработан для рабочих нагрузок вывода. Начиная с Ryzen AI Software Release 1.3, существует гибридная поддержка развертывания квантованных LLM, которые используют как NPU, так и iGPU. Используя оба компонента, каждый из них может применяться к задачам и операциям, для которых они оптимизированы.

Приложения и отрасли
Эта настройка может принести пользу отраслям, которым требуется высокая производительность и конфиденциальность, таким как здравоохранение, финансы и корпоративные приложения, где конфиденциальность данных имеет решающее значение. Ее также можно применять в таких областях, как создание контента и автоматизация обслуживания клиентов, где генеративные модели ИИ становятся необходимыми. Наконец, она помогает отраслям без Wi-Fi отправлять данные в облако и получать ответы, поскольку вся обработка выполняется локально.

Conclusion
В заключение, GAIA, приложение AMD с открытым исходным кодом, использует мощь Ryzen AI NPU для предоставления эффективных, приватных и высокопроизводительных LLM. Запуская LLM локально, GAIA обеспечивает повышенную конфиденциальность, уменьшенную задержку и оптимизированную производительность, что делает его идеальным для отраслей, в которых приоритет отдается безопасности данных и быстрому времени отклика.

Готовы ли вы попробовать GAIA самостоятельно? В нашем видео представлен краткий обзор и демонстрация установки GAIA.

Проверьте и внесите свой вклад в репозиторий GAIA на github.com/amd/gaia. Для отзывов или вопросов, пожалуйста, свяжитесь с нами по адресу GAIA@amd.com.

Источник: AMD Developer Blog