Исследование: ИИ-чатботы могут стирать грань между реальностью и бредом

Новое исследование предупреждает, что взаимодействие с генеративным ИИ может не только распространять ложную информацию, но и способствовать её более глубокому укоренению в сознании пользователей. Ученые вводят термин «галлюцинировать с ИИ».

Люси Ослер из Университета Эксетера изучила, как общение с чатботами может способствовать формированию ложных убеждений, искажению воспоминаний и даже бредовым состояниям. Согласно исследованию, ИИ-системы могут не просто подтверждать, но и развивать ошибочные идеи пользователя в ходе диалога.

Доктор Ослер пояснила: «Когда мы регулярно полагаемся на генеративный ИИ для размышлений, запоминания и повествования, мы можем начать галлюцинировать вместе с ним. Это происходит, когда ИИ вносит ошибки в когнитивный процесс, а также когда он поддерживает и развивает наше собственное бредовое мышление».

Ключевая проблема, по словам исследователя, заключается в «двойной функции» чатботов. Они выступают не только как инструменты для обработки информации, но и как собеседники, которые, как кажется, разделяют точку зрения пользователя. «Социальный аспект делает чатботов принципиально иными, чем записные книжки или поисковики. Они дают ощущение социального одобрения, из-за чего ложные убеждения кажутся разделенными с кем-то и, следовательно, более реальными», — добавила Ослер.

В работе рассматриваются реальные случаи, когда ИИ становился частью когнитивного процесса людей с клиническим диагнозом «галлюцинации» и «бредовое мышление». Некоторые из этих инцидентов уже описываются как «ИИ-индуцированный психоз».

Исследователи отмечают, что ИИ-компаньоны всегда доступны, персонализированы и запрограммированы на согласие и поддержку. Это создает благоприятную среду для укрепления искаженных убеждений, включая теории заговора, без необходимости искать единомышленников в реальном мире. Особенно уязвимыми могут быть одинокие и социально изолированные люди.

Доктор Ослер призывает к внедрению более совершенных механизмов защиты: «Благодаря более сложным ограничениям, встроенной проверке фактов и снижению угодливости, ИИ-системы можно спроектировать так, чтобы они минимизировали количество ошибок и могли оспаривать вводные данные пользователя. Однако глубокая проблема в том, что ИИ полагается на наши собственные рассказы о жизни. У него просто нет телесного опыта и социальной вовлеченности, чтобы знать, когда стоит соглашаться, а когда — возражать».