Исследователи работают над устранением ошибок ИИ, связанных с многозначными словами

LLM находят ответы, находя определенные закономерности в своих обучающих данных. Это не всегда работает, поскольку все еще существует вероятность того, что бот ИИ сможет найти закономерность там, где ее нет, подобно тому, как люди могут видеть формы животных в облаках. Однако разница между человеком и ИИ заключается в том, что мы знаем, что это всего лишь фигуры в облаках, а не настоящий гигантский слон, плывущий в небе. С другой стороны, студенты-магистры могут относиться к этому как к евангельской истине, что приведет их к галлюцинациям о технологиях будущего, которых еще не существует, и прочей чепухе.

Семантическая энтропия является ключом

Оксфордские исследователи используют семантическую энтропию, чтобы по вероятности определить, галлюцинирует ли LLM. Семантическая энтропия – это когда одни и те же слова имеют разные значения. Например, пустыня может относиться к географическому объекту или означать отказ от кого-то. Когда LLM начинает использовать эти слова, он может запутаться в том, что он пытается сказать, поэтому, обнаруживая семантическую энтропию выходных данных LLM, исследователи стремятся определить, вероятно ли это галлюцинация или нет.

Преимущество использования семантической энтропии заключается в том, что она будет работать с LLM без необходимости какого-либо дополнительного человеческого контроля или подкрепления, что позволяет быстрее обнаружить галлюцинации у ИИ-бота. Поскольку он не полагается на данные, специфичные для конкретной задачи, вы можете использовать его даже для новых задач, с которыми LLM раньше не сталкивался, что позволяет пользователям более полно доверять ему, даже если ИИ впервые сталкивается с конкретным вопросом или команда.

По мнению исследовательской группы, «наш метод помогает пользователям понять, когда им следует проявлять особую осторожность с LLM, и открывает новые возможности для использования LLM, которые в противном случае были бы невозможны из-за их ненадежности». Если семантическая энтропия действительно окажется эффективным способом обнаружения галлюцинаций, то мы могли бы использовать подобные инструменты для двойной проверки точности выходных данных ИИ, что позволит профессионалам доверять ему как более надежному партнеру. Тем не менее, подобно тому, как ни один человек не является непогрешимым, мы также должны помнить, что LLM, даже с самыми совершенными инструментами обнаружения ошибок, все равно могут ошибаться. Поэтому разумно всегда перепроверять ответ, который дает вам ChatGPT, CoPilot, Gemini или Siri.

Источник: Tomshardware.com