Исследование: ChatGPT часто ошибается в научных вопросах

Профессор Университета штата Вашингтон Месут Чичек и его команда проверили, насколько точно ChatGPT определяет истинность научных гипотез. Исследователи давали ИИ 719 утверждений из бизнес-журналов и просили определить, подтверждены они исследованиями или нет, задавая один и тот же вопрос по 10 раз для проверки согласованности.

В 2024 году точность ChatGPT-3.5 составила 76,5%, а в 2025 году у обновлённой модели ChatGPT-5 mini она выросла до 80%. Однако после поправки на случайное угадывание (вероятность 50%) реальная эффективность ИИ оказалась лишь на 60% выше случайности. Особенно плохо система справлялась с выявлением ложных утверждений, определяя их правильно лишь в 16,4% случаев.

Ключевой проблемой оказалась непоследовательность. Даже на идентичные запросы ИИ давал разные ответы в 27% случаев.

«Мы говорим не только о точности, но и о непоследовательности. Вы задаёте один и тот же вопрос снова и снова и получаете разные ответы», — пояснил Месут Чичек.

Результаты, опубликованные в Rutgers Business Review, показывают, что, несмотря на беглость речи, у ИИ нет настоящего понимания.

«Текущие инструменты ИИ не понимают мир так, как мы. Они просто запоминают и могут дать некоторое представление, но они не понимают, о чём говорят», — заявил Чичек.

Исследователи призывают с осторожностью полагаться на ИИ в важных решениях, требующих сложных рассуждений, и всегда проверять сгенерированную информацию.

ИИ: Это исследование — важное напоминание для всех, кто использует ИИ в работе или учёбе в 2026 году. Несмотря на впечатляющий прогресс, большие языковые модели всё ещё остаются продвинутыми «статистическими попугаями», а не мыслящими системами. Критическая проверка их выводов по-прежнему необходима.