Французские учёные создали первую гибридную память для обучения и работы ИИ прямо на чипе

Преодолев технологическое препятствие, которое долгое время ограничивало эффективное обучение ИИ на периферийных устройствах, команда французских учёных разработала первую гибридную память, поддерживающую адаптивное локальное обучение и работу (инференс) искусственных нейронных сетей.

В статье под названием «Память на основе сегнетоэлектрического мемристора для обучения и инференса», опубликованной в журнале Nature Electronics, команда представляет новую гибридную систему памяти. Она объединяет лучшие черты двух ранее несовместимых технологий — сегнетоэлектрических конденсаторов (FeCAP) и мемристоров — в единый стек памяти, совместимый с КМОП-технологией. Эта новая архитектура предлагает долгожданное решение одной из самых сложных проблем периферийного ИИ: как выполнять и обучение, и инференс на одном чипе, не выходя за рамки энергетического бюджета и не нарушая аппаратные ограничения.

Работая под руководством CEA-Leti и при участии учёных из нескольких французских центров микроэлектронных исследований, проект продемонстрировал, что можно выполнять обучение на чипе с конкурентоспособной точностью, избегая необходимости обновлений вне чипа и сложных внешних систем. Инновация команды позволяет периферийным системам и устройствам, таким как автономные транспортные средства, медицинские датчики и промышленные мониторы, обучаться на данных из реального мира по мере их поступления — адаптируя модели на лету, при этом строго контролируя энергопотребление и износ оборудования.

Проблема: невыигрышный компромисс
Периферийному ИИ требуются как инференс (чтение данных для принятия решений), так и обучение (обновление моделей на основе новых данных). Но до сих пор технологии памяти могли хорошо справляться только с одной задачей:

• Мемристоры (резистивная память с произвольным доступом) превосходно подходят для инференса, поскольку могут хранить аналоговые веса, энергоэффективны при операциях чтения и поддерживают вычисления в памяти.
• Сегнетоэлектрические конденсаторы (FeCAP) позволяют выполнять быстрые, низкоэнергетические обновления, но их операции чтения являются разрушающими — что делает их непригодными для инференса.

В результате разработчики аппаратного обеспечения стояли перед выбором: отдать предпочтение инференсу и передать обучение в облако или попытаться выполнять обучение на устройстве с высокими затратами и ограниченной долговечностью.

Обучение на периферии
Ключевой идеей команды было то, что хотя аналоговая точность мемристоров достаточна для инференса, её не хватает для обучения, которое требует небольших, постепенных корректировок весов.

«Вдохновлённые квантованными нейронными сетями, мы приняли гибридный подход: прямое и обратное распространение используют веса с низкой точностью, хранящиеся в аналоговой форме в мемристорах, в то время как обновления достигаются с использованием FeCAP с более высокой точностью. Мемристоры периодически перепрограммируются на основе наиболее значимых битов, хранящихся в FeCAP, что обеспечивает эффективное и точное обучение», — сказал Микеле Мартемуччи, ведущий автор статьи.

Прорыв: одна память, два режима работы
Команда создала унифицированный стек памяти из диоксида гафния, легированного кремнием, со слоем-поглотителем титана. Это двухрежимное устройство может работать как FeCAP или как мемристор, в зависимости от того, как оно электрически «формируется».

• Одна и та же ячейка памяти может использоваться для точного цифрового хранения весов (обучение) и аналогового представления весов (инференс), в зависимости от её состояния.
• Метод преобразования «цифра-аналог», не требующий формального ЦАП, преобразует скрытые веса из FeCAP в уровни проводимости в мемристорах.

Данное аппаратное обеспечение было изготовлено и протестировано на массиве из 18 432 устройств с использованием стандартной 130-нм КМОП-технологии, интегрировав оба типа памяти и их периферийные схемы на одном чипе.

Помимо CEA-Leti, в исследовательскую группу вошли учёные из Университета Гренобль-Альпы, CEA-List, Французского национального центра научных исследований (CNRS), Университета Бордо, Bordeaux INP, IMS France, Университета Париж-Сакле и Центра нанонаук и нанотехнологий (C2N).

Источник: CEA-Leti