Учёные обнаружили связь между лесными пожарами и работой нейросетей

Как лесной пожар, так и активность цифровых «нейронов» демонстрируют фазовый переход от активной фазы к поглощающей. Попав в поглощающую фазу, система не может выйти из неё без внешнего вмешательства. Автор: Tamai et al 2025

Исследователи из Токийского университета совместно с корпорацией Aisin обнаружили, что универсальные законы масштабирования, описывающие изменение свойств системы в зависимости от её размера, применимы к глубоким нейронным сетям, демонстрирующим поведение поглощающего фазового перехода — явления, обычно наблюдаемого в физических системах. Это открытие не только предоставляет новый инструмент для описания нейросетей, но и помогает предсказывать их обучаемость и способность к обобщению. Результаты исследования опубликованы в журнале Physical Review Research.

«Наше исследование было мотивировано двумя факторами, — объясняет первый автор работы Кейичи Тамаи. — С одной стороны, промышленные потребности, поскольку грубая настройка этих массивных моделей негативно влияет на экологию. Но был и второй, более глубокий мотив: научное понимание физики самого интеллекта».

Именно здесь опыт Тамаи в статистической физике фазовых переходов дал первую подсказку. Поглощающие фазовые переходы представляют собой резкий сдвиг в критической точке от активной фазы к поглощающей, из которой система не может выйти без внешнего воздействия. Классический пример — потухший пожар.

Глубокие нейросети с разными функциями активации характеризуются различными значениями масштабного фактора. Его произведение на глубину сети играет ключевую роль в успешности обучения. Автор: Tamai et al 2025

Учёные объединили теоретические выкладки с компьютерным моделированием. Они вывели универсальные для всех систем показатели и масштабные коэффициенты, которые различаются в зависимости от системы, подтвердив их работу в сложных случаях с помощью симуляций.

«Какое совпадение! — вспоминает Тамаи момент, когда он впервые заметил связь между нейросетями и поглощающими фазовыми переходами. — Я никогда не думал, что буду изучать глубокое обучение, не говоря уже о применении концепций из моей докторской диссертации по физике».

Это открытие также приближает нас к пониманию физики интеллекта, возрождая гипотезу о критичности мозга, согласно которой некоторые биологические сети работают вблизи фазовых переходов. Тамаи воодушевлён перспективами этого направления исследований.

«Алан Тьюринг намекал на эту связь ещё в 1950 году, но тогда не было необходимых инструментов. Сейчас, с накоплением нейробиологических данных и появлением ИИ, приближающегося к человеческому уровню, я считаю, что мы находимся в идеальном моменте для переосмысления этой фундаментальной взаимосвязи».

Дополнительная информация: Keiichi Tamai et al., Universal scaling laws of absorbing phase transitions in artificial deep neural networks, Physical Review Research (2025). DOI: 10.1103/jp61-6sp2