ChatGPT Health провалил тесты на безопасность в медицине

В эпоху повсеместного доступа к искусственному интеллекту всё больше людей воспринимают чат-ботов как виртуальных врачей первой помощи. Хотя алгоритмы отлично справляются с переводом сложных результатов анализов или описанием механизмов болезней, новый отчёт, опубликованный в престижном научном журнале Nature Medicine, отрезвляет энтузиастов технологий.

Исследователи подвергли систему ChatGPT Health строгим структурированным тестам в области первичной медицинской сортировки. Алгоритм должен был проанализировать описания симптомов и решить, насколько срочная помощь требуется пациенту. Учёные сосредоточились на двух наиболее деликатных областях — неотложных, острых состояниях, угрожающих жизни (например, инфаркт), и глубоких психических кризисах, включая непосредственный риск суицида.

Результаты эксперимента оказались тревожными. Как следует из отчёта, искусственный интеллект провалил критически важные тесты на безопасность в обеих исследуемых категориях. Вместо того чтобы безоговорочно и немедленно направлять пациентов с острыми симптомами в скорую помощь или безусловно рекомендовать звонок на номер экстренной службы и линию доверия в случае суицидальных мыслей, модель часто давала уклончивые, неуместные или слишком общие советы. В реальном мире такая задержка в направлении к профессиональной помощи могла бы иметь трагические последствия.

Эта публикация — крайне важный предупреждающий сигнал для всей технологической индустрии и самих пользователей. Она показывает, что хотя большие языковые модели обладают гигантской базой знаний, им не хватает надёжных, жёстких протоколов безопасности, требуемых в медицине. Прежде чем цифровые ассистенты прочно обоснуются в больничных системах оценки пациентов, разработчиков ждёт огромная работа по созданию защитных барьеров (так называемых guardrails). На данный момент в случае внезапной одышки или психического кризиса традиционный звонок в скорую помощь остаётся единственным разумным выбором.