KIOXIA выпустила ПО AiSAQ для снижения потребности в DRAM

28 января 2025, 13:36 / Технологии → Новости / Технологии

Корпорация Kioxia, мировой лидер в области решений для памяти, сегодня объявила о выпуске с открытым исходным кодом своей новой технологии All-in-Storage ANNS с квантованием продукта (AiSAQ). Новый алгоритм поиска «приблизительного ближайшего соседа» (ANNS), оптимизированный для SSD, программное обеспечение KIOXIA AiSAQ обеспечивает масштабируемую производительность для генерации дополненного поиска (RAG) без размещения индексных данных в DRAM

DRAM (англ. dynamic random access memory — динамическая память с произвольным доступом) — тип компьютерной памяти, отличающийся использованием полупроводниковых материалов, энергозависимостью и возможностью доступа к данным, хранящимся в произвольных ячейках памяти (см. запоминающее устройство с произвольным доступом). Модули памяти с памятью такого типа широко используются в компьютерах в качестве оперативных запоминающих устройств (ОЗУ), также используются в качестве устройств постоянного хранения информации в системах, требовательных к задержкам. Википедия

— и вместо этого выполняет поиск непосредственно на SSD.

Системы генеративного ИИ требуют значительных вычислительных, оперативных и хранилищных ресурсов. Хотя у них есть потенциал для осуществления преобразующих прорывов в различных отраслях, их развертывание часто сопряжено с высокими затратами. RAG — это критически важный этап ИИ, который уточняет большие языковые модели (LLM) с помощью данных, специфичных для компании или приложения.

Центральным компонентом RAG является векторная база данных, которая накапливает и преобразует определенные данные в векторы признаков в базе данных. RAG также использует алгоритм ANNS, который определяет векторы, улучшающие модель на основе сходства между накопленными и целевыми векторами. Чтобы RAG был эффективным, он должен быстро извлекать информацию, наиболее релевантную запросу. Традиционно алгоритмы ANNS развертываются в DRAM для достижения высокой производительности, необходимой для этих поисков.

Технология KIOXIA AiSAQ обеспечивает масштабируемое и эффективное решение ANNS для миллиардов наборов данных с незначительным использованием памяти и возможностями быстрого переключения индексов.

Основные преимущества технологии KIOXIA AiSAQ:

Позволяет работать крупномасштабным базам данных, не полагаясь на ограниченные ресурсы DRAM, повышая производительность систем RAG.
Устраняет необходимость загрузки индексных данных в DRAM, позволяя векторной базе данных запускаться мгновенно. Это поддерживает бесшовное переключение между пользовательскими или прикладными базами данных на одном сервере для эффективной доставки услуг RAG.
Оптимизирован для облачных систем путем хранения индексов в дезагрегированном хранилище для совместного использования на нескольких серверах. Этот подход динамически регулирует производительность поиска в векторной базе данных для определенных пользователей или приложений и облегчает быструю миграцию экземпляров поиска между физическими серверами.

Компания Kioxia демонстрирует свою приверженность развитию искусственного интеллекта, предоставляя сообществу свою инновационную технологию KIOXIA AiSAQ в виде программного обеспечения с открытым исходным кодом.

Перейдите по ссылке для получения открытой версии KIOXIA AiSAQ: github.com/kioxiaamerica/aisaq-diskann

Источник: KIOXIA