Исследование показало, что ошибки чат-ботов на основе ИИ серьезно вредят обучению

Педагогические чат-боты на основе генеративного ИИ обещают персонализированное обучение для массовой аудитории, но их ошибки могут серьезно вредить образовательному процессу. К такому выводу пришла команда исследователей под руководством доцента Тиффани Ли из Технологического института Стивенса.

В исследовании, представленном на конференции Conference on Learning @ Scale, участвовали 177 человек. Им предложили изучать вводную статистику с помощью чат-бота, который в некоторых ответах намеренно содержал фактические ошибки. Участники могли проверять ответы, используя учебники и поисковые системы, а также получали денежный бонус за обнаруженные ошибки.

Результаты оказались тревожными: в среднем участники обнаруживали лишь около 15% ошибок чат-бота. При этом их успеваемость значительно страдала — точность выполнения практических заданий в группе, столкнувшейся с ошибками ИИ, составляла 25-30%, тогда как в контрольной группе без ошибок этот показатель достигал 60-66%.

«Когда участники сталкивались с ошибками чат-ботов, их средняя точность на практических задачах составляла от 25 до 30%», — отмечает Тиффани Ли.

Исследователи выявили несколько причин низкой обнаружения ошибок. Участники часто полагались на свои предыдущие знания, но этот метод не работал у новичков в теме. Многие доверяли уверенным и красноречивым ответам ИИ, особенно при изучении новой темы.

Наиболее уязвимыми к ошибкам чат-ботов оказались люди с малым опытом использования ИИ, не носители английского языка, а также участницы женского пола и те, у кого было меньше начальных знаний по предмету.

Тиффани Ли рекомендует преподавателям с осторожностью внедрять чат-боты в образовательный процесс, особенно на этапе первичного изучения концепций. Более безопасным может быть их использование позже в курсе, когда у студентов уже сформирована основная база знаний.