Ирония: в работах с престижной конференции по ИИ NeurIPS обнаружены «галлюцинирующие» цитаты

Стартап по детекции ИИ GPTZero просканировал все 4841 научную работу, принятую на престижной Конференции по нейронным системам обработки информации (NeurIPS), которая прошла в прошлом месяце в Сан-Диего. Компания обнаружила 100 «галлюцинирующих» (вымышленных) цитат в 51 статье, что было подтверждено как фальсификация, сообщает TechCrunch.

Публикация на NeurIPS — это достижение, достойное резюме в мире искусственного интеллекта. Учитывая, что это ведущие умы в области ИИ-исследований, можно было бы предположить, что они используют большие языковые модели (LLM) для катастрофически скучной задачи — оформления списка литературы.

Однако с этой находкой связано множество оговорок: 100 подтверждённых вымышленных ссылок в 51 статье статистически незначимы. В каждой работе десятки цитирований. Таким образом, из десятков тысяч ссылок это, статистически, ноль.

Также важно отметить, что неточная цитата не отменяет ценность самого исследования. Как заявили представители NeurIPS изданию Fortune, первым сообщившему об исследовании GPTZero:

«Даже если 1,1% работ содержат одну или несколько некорректных ссылок из-за использования LLM, содержание самих статей не обязательно становится недействительным».

Но, несмотря на всё это, поддельная ссылка — это тоже не пустяк. NeurIPS гордится своей «строгой научной публикационной деятельностью в области машинного обучения и искусственного интеллекта». Каждая статья проходит рецензирование несколькими экспертами, которым предписано отмечать «галлюцинации».

Цитирования — это своего рода валюта для исследователей. Они используются как карьерный показатель, демонстрирующий, насколько работа учёного влиятельна среди коллег. Когда ИИ их выдумывает, это обесценивает их значимость.

Нельзя винить рецензентов в том, что они не заметили несколько сфабрикованных ИИ ссылок, учитывая их огромный объём. GPTZero также спешит это подчеркнуть. Целью этого исследования было предоставить конкретные данные о том, как «ИИ-мусор» проникает через «цунами заявок», которое «напрягло рецензионные процессы этих конференций до предела». GPTZero даже ссылается на статью от мая 2025 года под названием «Кризис рецензирования на ИИ-конференциях», где обсуждалась эта проблема на ведущих конференциях, включая NeurIPS.

Всё же возникает вопрос: почему сами исследователи не проверили работу LLM на точность? Неужели они не знают реальный список работ, которые использовали?

Вся эта ситуация указывает на один большой ироничный вывод: если ведущие мировые эксперты по ИИ, рискуя своей репутацией, не могут гарантировать точность использования LLM в деталях, то что это значит для всех остальных?

ИИ: Это яркий пример того, как инструменты, призванные помогать, могут незаметно подрывать основы научной строгости. Ирония в том, что проблема возникла в эпицентре разработки этих самых технологий. Ситуация поднимает важные вопросы о необходимости новых протоколов проверки и ответственности исследователей в эпоху повсеместного использования ИИ.