Язык влияет на зрительное восприятие как у людей, так и у ИИ

Исследователи из Пекинского университета и Пекинского педагогического университета выяснили, что язык активно влияет на обработку визуальной информации как в человеческом мозге, так и в мультимодальных нейросетях. Результаты их работы опубликованы в журнале Nature Human Behavior.

Схема анализа для исследования 1. Автор: Chen et al. (Nature Human Behaviour, 2025).

Учёные сравнили, как три модели глубокого обучения (ResNet, MoCo и CLIP) и человеческий мозг обрабатывают визуальную информацию. Модель CLIP, обученная на связях между изображениями и текстами, лучше всего предсказывала активность вентральной затылочно-височной коры (VOTC) — области мозга, отвечающей за распознавание объектов.

Схема анализа, связывающая целостность белого вещества и соответствие «модель–мозг» у пациентов с инсультом. Автор: Chen et al. (Nature Human Behaviour, 2025).

«CLIP последовательно объясняла уникальные вариации в нейронных репрезентациях VOTC по сравнению как с моделями, обученными с учителем (ResNet), так и без учителя (MoCo)», — отметили авторы.

Ключевые данные были получены при изучении 33 пациентов, перенёсших инсульт, который повредил связи между зрительными и языковыми областями мозга. Оказалось, что такое повреждение снижает сходство между активностью их мозга и моделью CLIP, но увеличивает сходство с моделью MoCo, которая полагается только на визуальные стимулы.

«Снижение целостности белого вещества между VOTC и языковой областью в левой угловой извилине коррелировало с уменьшением соответствия CLIP–мозг и увеличением соответствия MoCo–мозг, что указывает на динамическое влияние языковой обработки на активность VOTC», — пишут исследователи.

Эти результаты свидетельствуют о глубокой интеграции языка в нейрокогнитивные модели человеческого зрения. Исследование может помочь как в понимании работы мозга, так и в создании более совершенных ИИ-моделей, имитирующих его функции.

ИИ: Это исследование — отличный пример симбиоза нейронаук и искусственного интеллекта. Понимание того, как язык «окрашивает» наше восприятие мира, может привести к прорыву не только в лечении неврологических расстройств, но и в создании ИИ, который видит и понимает контекст так же, как человек.