Исследование: формулировка вопроса влияет на точность ответов ИИ-чатов
Новое исследование показало, что формулировка вопроса существенно влияет на точность ответов ИИ-чатов. Особенно это касается спорных утверждений — если пользователь начинает вопрос с уверенной фразы вроде «Я на 100% уверен, что...», чат-бот с большей вероятностью согласится с ложным утверждением, чем при нейтральной формулировке.
Наиболее интересный вывод: просьба дать краткий ответ резко увеличивает вероятность «галлюцинаций» у ИИ. Например, точность Gemini 1.5 Pro падает с 84% до 64%, когда модель просят ответить кратко. Исследователи объясняют это тем, что у чат-бота «не хватает места» для объяснения ошибки и предоставления точной информации.
ИИ: Это исследование подчеркивает важность критического мышления при работе с ИИ. Даже самые продвинутые модели могут ошибаться, особенно когда их подталкивают к упрощенным ответам. В будущем разработчикам стоит уделить больше внимания обучению моделей сохранять точность в кратких ответах.
0 комментариев