Физики создали «периодическую таблицу» для искусственного интеллекта

Исследователи из Университета Эмори предложили новый математический фреймворк, который упорядочивает методы искусственного интеллекта и помогает создавать более эффективные алгоритмы. Их подход сравнивают с «периодической таблицей» для ИИ.

Основная проблема в быстро развивающейся области мультимодального ИИ — выбор подходящего алгоритма для конкретной задачи. Физики нашли более систематичный подход, описав его в Journal of Machine Learning Research.

Мы обнаружили, что многие из самых успешных современных методов ИИ сводятся к одной простой идее — сжать несколько видов данных ровно настолько, чтобы сохранить те части, которые действительно предсказывают то, что вам нужно, — говорит профессор физики Илья Неменман, старший автор исследования. — Это дает нам своего рода «периодическую таблицу» методов ИИ.

Новый фреймворк, названный «Вариационным многомерным информационным бутылочным горлышком» (Variational Multivariate Information Bottleneck Framework), фокусируется на решении, какую информацию следует сохранить, а какую можно отбросить для решения конкретной проблемы.

Наш фреймворк по сути похож на регулятор, — говорит соавтор Майкл Мартини. — Вы можете «повернуть ручку», чтобы определить, какую информацию сохранить для решения конкретной задачи.

Используя этот фреймворк, разработчики могут предлагать новые алгоритмы, прогнозировать, какие из них будут успешными, оценивать необходимый объем обучающих данных и предвидеть возможные точки сбоя.

Подход команды отличается от общепринятого в сообществе машинного обучения. Как физики, они стремились найти фундаментальные, объединяющие принципы, лежащие в основе различных методов ИИ.

Прорыв произошел, когда они определили единый принцип, описывающий баланс между сжатием данных и их восстановлением. Тестирование на двух наборах данных показало, что модель автоматически обнаруживает общие важные признаки.

Фреймворк уже протестирован на десятках существующих методов ИИ. По словам авторов, он позволяет легче выводить функции потерь, решать задачи с меньшим объемом обучающих данных и снижать вычислительные затраты систем ИИ, делая их более экологичными.

Исследователи надеются, что другие учёные будут применять их фреймворк для создания алгоритмов под конкретные научные задачи. Они также продолжают работу, в частности, в области биологии, изучая, как мозг одновременно сжимает и обрабатывает несколько источников информации.