ИИ пока не готов заменить репетиторов по термодинамике
Исследователи из Вюрцбургского университета имени Юлиуса и Максимилиана разработали инструмент UTQA для оценки способностей больших языковых моделей (LLM) в качестве репетиторов по термодинамике. Результаты показывают, что даже лучшие модели 2025 года не достигли необходимого уровня надежности для самостоятельной работы.
Инструмент UTQA содержит 50 сложных заданий из базового курса термодинамики, две трети из которых текстовые, а треть включает диаграммы и схемы. Тестирование выявило, что модели испытывают трудности с необратимыми процессами и интерпретацией визуального контента.
«Наше желание — чтобы ИИ мог поддерживать нас как независимый партнер в обучении, но мы явно еще не достигли этого», — говорит профессор Тобиас Хертель.
Лучшая модель GPT-o3 показала точность 82%, что ниже требуемых 95% для unsupervised-использования. Исследователи отмечают, что за последние два года был достигнут значительный прогресс, и в будущем ИИ может стать компетентным помощником в образовании.
Термодинамика была выбрана для тестирования, поскольку она требует точного различения переменных состояния и процессов, что отделяет способность рассуждать от простого запоминания.
0 комментариев