OpenAI заявила, что ИИ лжёт из-за системы обучения, а не ошибок

OpenAI представила революционный отчёт, подготовленный совместно с экспертами из Технологического института Джорджии. Учёные утверждают, что проблема так называемых «галлюцинаций» ИИ — когда искусственный интеллект предоставляет ложную информацию — не является загадочной технической ошибкой. Это следствие того, как мы обучаем и оцениваем языковые модели.

Исследование, опубликованное 4 сентября, показывает, что современные системы оценки фактически «учат» модели блефовать вместо того, чтобы признаваться в незнании. Таким образом, галлюцинации — это не дефект, а результат целенаправленного обучения ИИ угадывать, а не честно говорить «не знаю».

Учёные OpenAI — Адам Тауман Калаи, Офир Нахум, Эдвин Чжан и Сантош Вемпала — демонстрируют, что даже с идеальными обучающими данными ошибки неизбежны, поскольку они возникают из-за статистического процесса. Модели «галлюцинируют» с частотой, соответствующей количеству уникальной информации в данных. В качестве доказательства они протестировали ведущие модели на простом вопросе о дате рождения соавтора исследования Калаи. Несмотря на просьбу отвечать «только если известно», DeepSeek-V3, ChatGPT и другие модели предоставили целых три разные ошибочные даты.

Почему это происходит? Исследование указывает на проблему бинарной системы оценок, которая доминирует в бенчмарках. Такая система одинаково наказывает за неверный ответ и за отсутствие ответа, что вынуждает модели угадывать. Учёные сравнивают это с учеником, который на тесте с множественным выбором ставит галочки наугад, чтобы получить хоть какой-то балл.

OpenAI предлагает революционное решение: изменить систему оценки на такую, которая поощряет ИИ за признание в незнании. Это потребует изменений во всей отрасли, но может сделать искусственный интеллект более заслуживающим доверия.