Опасения по поводу инструмента для ведения медицинских заметок

Галлюцинация ИИ — не новое явление, и исследователи пытались исправить это с помощью различных инструментов, таких как семантическая энтропия. Однако беспокоит то, что инструмент аудиотранскрипции Whisper AI широко используется в медицинских учреждениях, где ошибки могут иметь смертельные последствия.

Например, один из спикеров сказал: «Он, мальчик, собирался, я точно не уверен, взять зонтик», но Whisper расшифровал: «Он тоже большой кусок креста, маленький, крошечный кусок… Я уверен, у него не было ножа для террора, поэтому он убил несколько человек». В другой записи говорилось: «две другие девушки и одна женщина», а инструмент ИИ расшифровал это как «две другие девушки и одна женщина, гм, которые были черными». Наконец, один пример, связанный с медициной, показал, что Whisper записал в своих выходных данных «гиперактивированные антибиотики», которых не существует.

Nabla — помощник на базе искусственного интеллекта, которым пользуются более 45 000 врачей

Несмотря на вышеупомянутые новости, Nabla, помощник на основе искусственного интеллекта, который помогает врачам расшифровывать взаимодействие пациента и врача и создавать заметки или отчеты после визита, по-прежнему использует Whisper. Компания утверждает, что более 45 000 врачей в более чем 85 организациях здравоохранения используют этот инструмент, включая детскую больницу Лос-Анджелеса и клинику Манкато в Миннесоте.

Несмотря на то, что Nabla основана на Whisper от OpenAI, главный технический директор компании Мартин Рэйсон говорит, что ее инструмент тонко настроен на медицинский язык для транскрибирования и обобщения взаимодействия. Однако OpenAI рекомендует не использовать Whisper для критически важных транскрипций, даже предостерегая от его использования в «контекстах принятия решений, где недостатки в точности могут привести к выраженным недостаткам в результатах».

Компания, стоящая за Nabla, заявляет, что знает о склонности Whisper к галлюцинациям и уже решает эту проблему. Однако Raison также заявила, что не может сравнить расшифровку, созданную ИИ, с оригинальной аудиозаписью, поскольку ее инструмент автоматически удаляет исходную аудиозапись для обеспечения конфиденциальности и безопасности данных. К счастью, пока не было зафиксировано жалоб на поставщика медицинских услуг из-за галлюцинаций, вызванных их инструментами для заметок на основе ИИ.

Даже если это так, Уильям Сондерс, бывший инженер OpenAI, сказал, что удаление оригинальной записи может быть проблематичным, поскольку поставщик медицинских услуг не сможет проверить, является ли текст правильным. «Вы не сможете обнаружить ошибки, если уберете основную правду», — сказал он Associated Press.

Тем не менее, Nabla требует от своих пользователей редактировать и одобрять транскрибированные заметки. Таким образом, если бы он мог предоставить отчет, пока пациент все еще находится в комнате с врачом, это дало бы поставщику медицинских услуг возможность проверить достоверность своих результатов на основе его недавней памяти и даже подтвердить информацию у пациента, если данные, предоставленные транскрипцией ИИ, считаются неточными.

Это показывает, что ИИ — это не непогрешимая машина, которая делает все правильно — вместо этого мы можем думать о нем как о человеке, который может быстро думать, но его вывод каждый раз нужно перепроверять. ИИ, безусловно, является полезным инструментом во многих ситуациях, но мы не можем позволить ему думать за нас, по крайней мере сейчас.

Источник: Tomshardware.com