OpenAI внедряет функцию «Доверенное лицо» для предотвращения самоповреждений

В четверг компания OpenAI объявила о запуске новой функции под названием «Доверенное лицо» (Trusted Contact), предназначенной для оповещения третьего лица, если в диалоге с чат-ботом будут обнаружены упоминания о самоповреждении. Функция позволяет взрослому пользователю ChatGPT назначить в своей учетной записи другого человека, например друга или члена семьи, в качестве доверенного контакта. В случаях, когда разговор может коснуться темы самоповреждения, OpenAI теперь будет рекомендовать пользователю обратиться к этому контакту. Кроме того, доверенному лицу будет отправлено автоматическое уведомление с призывом связаться с пользователем.

OpenAI столкнулась с волной судебных исков от семей людей, покончивших с собой после общения с чат-ботом. В ряде случаев родственники утверждают, что ChatGPT подталкивал их близких к суициду или даже помогал его спланировать.

В настоящее время OpenAI использует комбинацию автоматизации и ручной проверки для обработки потенциально опасных инцидентов. Определенные триггеры в диалоге оповещают систему компании о суицидальных мыслях, после чего информация передается группе безопасности, состоящей из людей. Компания утверждает, что каждое такое уведомление проверяется человеком. «Мы стремимся рассматривать эти уведомления о безопасности в течение часа», — говорится в заявлении компании.

Если внутренняя команда OpenAI решит, что ситуация представляет серьезный риск для безопасности, ChatGPT отправит доверенному лицу предупреждение — по электронной почте, в виде текстового сообщения или через уведомление в приложении. Уведомление составляется кратко и призывает контактное лицо связаться с пользователем. Компания отмечает, что оно не содержит подробной информации о теме разговора, чтобы защитить конфиденциальность пользователя.

Источник изображения:OpenAI

Функция «Доверенное лицо» появилась после мер безопасности, которые компания внедрила в прошлом сентябре, предоставив родителям возможность частично контролировать аккаунты своих подростков, включая получение уведомлений о безопасности, предупреждающих, если система OpenAI считает, что их ребенок находится в «серьезной опасности». Уже некоторое время ChatGPT также включает автоматические уведомления с предложением обратиться за профессиональной медицинской помощью, если разговор касается темы самоповреждения.

Важно отметить, что функция «Доверенное лицо» является опциональной, и даже если она активирована в конкретном аккаунте, любой пользователь может иметь несколько учетных записей ChatGPT. Родительский контроль OpenAI также является добровольным, что представляет собой аналогичное ограничение.

«"Доверенное лицо" — это часть более широких усилий OpenAI по созданию систем ИИ, которые помогают людям в трудные моменты, — говорится в анонсе. — Мы продолжим сотрудничать с клиницистами, исследователями и политиками, чтобы улучшить реакцию систем ИИ в ситуациях, когда люди могут испытывать стресс».