Китайские ученые представили энергоэффективную ИИ-систему SpikingBrain, имитирующую работу мозга

Китайские исследователи разработали новую систему искусственного интеллекта, имитирующую работу нейронов мозга, что открывает новые перспективы для энергоэффективных вычислений следующего поколения и специализированного оборудования.

Ученые из Института автоматизации Китайской академии наук представили «SpikingBrain-1.0» — крупномасштабную модель, которая полностью обучается и работает на отечественных GPU-вычислениях.

В отличие от популярных генеративных ИИ-систем, использующих ресурсоемкую архитектуру Transformer (где интеллект растет за счет увеличения сетей, вычислительных мощностей и объемов данных), новая модель следует иным путем, позволяя интеллекту возникать из спайковых нейронов.

Эта модель обеспечивает высокоэффективное обучение на крайне малых объемах данных. Используя всего около 2% данных для предварительного обучения, необходимых основным большим моделям, она демонстрирует сопоставимую производительность с несколькими открытыми моделями в задачах понимания языка и логических рассуждений.

Благодаря использованию событийно-управляемых спайковых нейронов на этапе вывода, один из вариантов SpikingBrain демонстрирует 26,5-кратное ускорение по сравнению с архитектурой Transformer при генерации первого токена из контекста в миллион токенов.

Способность модели обрабатывать сверхдлинные последовательности обеспечивает явный выигрыш в эффективности для таких задач, как анализ юридических или медицинских документов, эксперименты в физике высоких энергий и моделирование последовательностей ДНК.

Исследовательская группа открыла исходный код модели SpikingBrain и запустила публичную тестовую страницу, а также опубликовала крупномасштабный двуязычный технический отчет, проверенный индустрией.

«Эта большая модель открывает нетрансформерный технический путь для развития искусственного интеллекта нового поколения, — заявил директор Института автоматизации Сюй Бо. — Она может вдохновить на создание нейроморфных чипов следующего поколения с более низким энергопотреблением».

Как сообщалось в прошлом году в Nature Communications, ученые института в сотрудничестве со швейцарскими коллегами разработали энергоэффективный нейроморфный чип для сенсорики и вычислений, имитирующий нейроны и синапсы человеческого мозга.

Чип под названием «Speck» обладает впечатляюще низким энергопотреблением в режиме покоя — всего 0,42 милливатта, что означает практически нулевое потребление энергии при отсутствии входных данных.

Человеческий мозг, способный обрабатывать невероятно сложные и обширные нейронные сети, работает с общим энергопотреблением всего 20 ватт, что значительно меньше, чем у современных ИИ-систем.