Учёные воссоздали видео по активности мозга мышей

Учёные из Университетского колледжа Лондона (UCL) смогли реконструировать короткие видеоролики, используя исключительно данные об активности мозга мышей. По сути, исследователи воссоздали то, что видели животные. Работа опубликована в журнале eLife.

В отличие от предыдущих исследований на людях, где применялась фМРТ и реконструкция велась на уровне отдельных пикселей, новая методика опирается на записи активности отдельных нейронов зрительной коры мышей. Это позволяет получить более детальную картину того, как мозг кодирует зрительную информацию.

Для реконструкции команда использовала динамическую модель нейронного кодирования, изначально разработанную для соревнования Sensorium Competition 2023. Модель предсказывает, как отдельные нейроны реагируют на просмотр фильмов, учитывая также движения животного и изменения диаметра зрачка.

Сначала учёные рассчитали, как нейроны вели бы себя при взгляде на пустой экран, а затем сравнили этот прогноз с реальной активностью во время просмотра видео. Разница между предсказанной и измеренной активностью использовалась алгоритмом для постепенного изменения пикселей изначально пустого изображения — так реконструкция шаг за шагом приближалась к оригиналу.

После обучения модели исследователи провели более сложный тест: они записали активность мозга мыши при просмотре видео, которое никогда не использовалось в обучающих данных. На основе только этих нейронных сигналов система восстановила 10-секундный ролик, похожий на unseen-видео.

Ведущий автор работы доктор Джоэл Бауэр (Центр Сейнсбери Уэллкома при UCL) отметил: «Мы хотели найти лучший способ исследовать, как мозг интерпретирует то, что мы видим. Существующие методы понимания того, что представляют конкретные группы нейронов, плохо обобщаются на ситуации, которые специально не тестировались. Поэтому мы стремились разработать метод, который может уловить, что представлено в мозге, и сравнить это с реальностью».

Для оценки точности реконструкции применялся метод пиксельной корреляции, сравнивающий соответствующие пиксели в оригинальном и восстановленном видео. Анализ показал лишь небольшие расхождения по времени, однако, по словам исследователей, всё ещё есть значительный потенциал для улучшения разрешения изображения и охвата большей части визуальной сцены.

В дальнейшем учёные планируют использовать эту технику для изучения более глубокого вопроса: насколько внутреннее представление мозга отличается от реального мира перед нами. Зрение — это не просто запись, как на камеру; мозг непрерывно интерпретирует, фильтрует и изменяет поступающую сенсорную информацию.

Доктор Бауэр заключил: «У нас нет идеального представления мира в голове. Зрительный конвейер искажает и деформирует наше представление, изменяя информацию. Это отклонение между реальностью и репрезентациями в мозге — не обязательно ошибка, а особенность, отражающая то, как наш разум интерпретирует и дополняет сенсорную информацию. Мы хотим исследовать, как это происходит в мозге».

Источники:

Материалы предоставлены Университетским колледжем Лондона.

Joel Bauer, Troy W Margrie, Claudia Clopath. Movie reconstruction from mouse visual cortex activity. eLife, 2026; 14 DOI: 10.7554/eLife.105081.3