KIOXIA выпустила ПО AiSAQ для снижения потребности в DRAM
DRAM (англ. dynamic random access memory — динамическая память с произвольным доступом) — тип компьютерной памяти, отличающийся использованием полупроводниковых материалов, энергозависимостью и возможностью доступа к данным, хранящимся в произвольных ячейках памяти (см. запоминающее устройство с произвольным доступом). Модули памяти с памятью такого типа широко используются в компьютерах в качестве оперативных запоминающих устройств (ОЗУ), также используются в качестве устройств постоянного хранения информации в системах, требовательных к задержкам. Википедия
Читайте также:Transcend выпустила модули DDR5 6400 для ПКImec разрабатывает новую буферную память CXL, которая может превзойти плотность бит DRAMKioxia разрабатывает технологию OCTRAM (оксидно-полупроводниковый канальный транзистор DRAM)NVIDIA демонстрирует будущий дизайн ускорителя ИИ: кремниевая фотоника и DRAM поверх вычисленийSamsung: планы на 2026–2027 гг
Системы генеративного ИИ требуют значительных вычислительных, оперативных и хранилищных ресурсов. Хотя у них есть потенциал для осуществления преобразующих прорывов в различных отраслях, их развертывание часто сопряжено с высокими затратами. RAG — это критически важный этап ИИ, который уточняет большие языковые модели (LLM) с помощью данных, специфичных для компании или приложения.
Центральным компонентом RAG является векторная база данных, которая накапливает и преобразует определенные данные в векторы признаков в базе данных. RAG также использует алгоритм ANNS, который определяет векторы, улучшающие модель на основе сходства между накопленными и целевыми векторами. Чтобы RAG был эффективным, он должен быстро извлекать информацию, наиболее релевантную запросу. Традиционно алгоритмы ANNS развертываются в DRAM для достижения высокой производительности, необходимой для этих поисков.
Технология KIOXIA AiSAQ обеспечивает масштабируемое и эффективное решение ANNS для миллиардов наборов данных с незначительным использованием памяти и возможностями быстрого переключения индексов.
Основные преимущества технологии KIOXIA AiSAQ:
- Позволяет работать крупномасштабным базам данных, не полагаясь на ограниченные ресурсы DRAM, повышая производительность систем RAG.
- Устраняет необходимость загрузки индексных данных в DRAM, позволяя векторной базе данных запускаться мгновенно. Это поддерживает бесшовное переключение между пользовательскими или прикладными базами данных на одном сервере для эффективной доставки услуг RAG.
- Оптимизирован для облачных систем путем хранения индексов в дезагрегированном хранилище для совместного использования на нескольких серверах. Этот подход динамически регулирует производительность поиска в векторной базе данных для определенных пользователей или приложений и облегчает быструю миграцию экземпляров поиска между физическими серверами.
Компания Kioxia демонстрирует свою приверженность развитию искусственного интеллекта, предоставляя сообществу свою инновационную технологию KIOXIA AiSAQ в виде программного обеспечения с открытым исходным кодом.
Перейдите по ссылке для получения открытой версии KIOXIA AiSAQ: github.com/kioxiaamerica/aisaq-diskann
Источник: KIOXIA
0 комментариев