OpenAI нашла причину галлюцинаций ИИ и предложила решение

ИИ-чатботы проникли в классы, офисы и повседневную жизнь, но они всё ещё страдают от досадного недостатка: иногда они просто выдумывают информацию. Эти так называемые «галлюцинации» могут выглядеть убедительно, но оказываются совершенно неверными. OpenAI заявляет, что выяснила, почему это происходит, и компания считает, что у неё есть решение, которое может сделать будущие инструменты ИИ гораздо более надёжными.

OpenAI недавно опубликовала 36-страничную статью, написанную в соавторстве с Сантошем Вемпалой из Технологического института Джорджии и другими, где подробно исследуется эта проблема. Исследователи утверждают, что галлюцинации вызваны не столько плохим дизайном модели, сколько тем, как системы ИИ тестируются и ранжируются. Современные тесты часто поощряют чатбота за ответ на каждый вопрос, даже если некоторые ответы неверны, и наказывают модели, которые воздерживаются от ответа, когда не уверены. Это похоже на экзамен с множественным выбором, который поощряет угадывание, а не оставление пустых полей.

Для противодействия этому в статье предлагается изменить систему оценивания: сделать ответы «уверенные, но неверные» серьёзным минусом для модели, одновременно поощряя её за проявление осторожности или признание неуверенности. Ранние примеры подчёркивают разницу. В одном тесте осторожная модель ответила только на половину вопросов, но дала 74% правильных ответов, в то время как другая ответила почти на все, но в трёх случаях из четырёх выдавала галлюцинации.

Если этот подход будет принят, он может изменить повседневное поведение ИИ-ассистентов. Вместо того чтобы уверенно выдумывать источник или статистику, они с большей вероятностью скажут: «Я не знаю». Это может звучать менее впечатляюще, но это может избавить пользователей от необходимости постоянно перепроверять ответы. Для OpenAI это исследование — шаг к ИИ, который ценит точность и доверие выше яркой, но ненадёжной уверенности.

(Источник | Изображение)