AMD запускает проект Gaia с открытым исходным кодом для локального запуска LLM на любом ПК

21 марта 2025, 21:19 / Технологии → Новости / Технологии

Запуск больших языковых моделей (LLM) на ПК локально становится все более популярным во всем мире. В ответ AMD

Advanced Micro Devices, Inc. (AMD, дословный перевод с англ. — «передовые микроустройства») — производитель интегральной микросхемной электроники. Второй по объему производства и продаж производитель процессоров архитектуры x86 c долей рынка 16,9 %▲(2014), а также один из крупнейших производителей графических процессоров (после приобретения ATI Technologies в 2006 году), чипсетов для материнских плат и флеш-памяти. Компания с 2009 года не имеет собственного производства и размещает заказы на мощностях других компаний. Википедия

представляет собственное приложение LLM, Gaia, проект с открытым исходным кодом для запуска локальных LLM на любой машине Windows.

Gaia предназначена для запуска различных моделей LLM на ПК с Windows и обеспечивает дальнейшую оптимизацию производительности для машин, оснащенных процессорами Ryzen AI

(включая Ryzen

Ryzen (/ˈraɪzən/, рус. ра́йзен) — торговая марка микропроцессоров транснациональной корпорации AMD второй половины 2010-х годов. Данное семейство процессоров относится к архитектуре x86_64, применяется в настольных, мобильных и встроенных вычислительных системах и на данный момент использует процессорные микроархитектуры Zen, Zen+, Zen 2, Zen 3. 13 декабря 2016 года марка Ryzen была анонсирована на специальном саммите AMD New Horizon, одновременно с новой микроархитектурой Zen. Википедия

AI Max 395+). Gaia использует открытый исходный код Lemonade SDK от ONNX TurnkeyML для вывода LLM. Модели, как утверждается, могут адаптироваться для различных целей с Gaia, включая обобщение и сложные задачи рассуждения.

(Изображение предоставлено: AMD)

Иллюстрация того, как работает Gaia (Изображение предоставлено AMD)

Gaia предположительно работает через агента Retrieval-Augmented Generation или RAG. RAG объединяет LLM с базой знаний, позволяя LLM предоставлять интерактивный опыт ИИ для конечного пользователя вместе с более точными и контекстно-зависимыми ответами. В настоящее время RAG включает в себя четыре агента Gaia: Simple Prompt Completion, агент, разработанный для прямого взаимодействия с моделью, предназначенного для тестирования и оценки; Chaty, часть чат-бота LLM, которая взаимодействует с пользователем; Clip, агент с поиском на YouTube и функциональностью вопросов и ответов; и Joker, генератор шуток, который добавляет чат-боту юмористическую индивидуальность.

Новый проект AMD с открытым исходным кодом работает, предоставляя специфические для LLM задачи через Lemonade SDK и обслуживая их в нескольких средах выполнения. Lemonade якобы «открывает веб-сервис LLM, который взаимодействует с приложением GAIA... через совместимый с OpenAI Rest API». Сам Gaia действует как агент на базе ИИ, который извлекает и обрабатывает данные. Он также «векторизует внешний контент (например, GitHub, YouTube, текстовые файлы) и сохраняет его в локальном векторном индексе».

Другими словами, Gaia может улучшить запросы пользователей до того, как их обработает LLM, что, как утверждается, повышает точность и релевантность ответов.

Новый чатбот AI имеет два установщика: основной установщик, который работает на любом ПК с Windows (независимо от того, есть ли на этом ПК оборудование AMD или нет), и «гибридный» установщик, оптимизированный для ПК Ryzen AI. Последний, в частности, позволяет Gaia выполнять вычисления на нейронном процессоре (NPU) ЦП Ryzen AI и интегрированной графике для лучшей производительности.

Gaia — последний конкурент в новом море локализованных приложений LLM, включая LM Studio и ChatRTX. Локальный запуск LLM имеет значительные преимущества по сравнению с облачными решениями, включая большую безопасность, меньшую задержку и, в некоторых случаях, лучшую производительность, в зависимости от системного оборудования. Лучше всего то, что локальные LLM работают в автономном режиме и не требуют подключения к Интернету.

Источник: Tomshardware.com