OpenAI внедряет систему безопасности и родительский контроль в ChatGPT

OpenAI начала тестирование новой системы безопасности в ChatGPT на выходных, а в понедельник представила функцию родительского контроля для чат-бота, что вызвало неоднозначную реакцию пользователей.

Эти меры безопасности стали ответом на многочисленные инциденты, когда определенные модели ChatGPT подтверждали бредовые идеи пользователей вместо того, чтобы перенаправлять опасные разговоры. OpenAI столкнулась с судебным иском о непредумышленном убийстве, связанным с одним таким случаем, когда подросток покончил с собой после месяцев общения с ChatGPT.

Новая система маршрутизации предназначена для обнаружения эмоционально чувствительных разговоров и автоматического переключения в середине беседы на модель GPT-5, которую компания считает наиболее подготовленной для работы с вопросами высокой важности. В частности, модели GPT-5 были обучены с новой функцией безопасности, которую OpenAI называет «безопасные завершения», позволяющей им отвечать на чувствительные вопросы безопасным способом, а не просто отказываться от взаимодействия.

Это контрастирует с предыдущими чат-моделями компании, которые были разработаны быть уступчивыми и быстро отвечать на вопросы. Модель GPT-4o подверглась особой критике из-за своего чрезмерно угодливого характера, что как способствовало случаям вызванных ИИ заблуждений, так и привлекло большую базу преданных пользователей. Когда OpenAI сделала GPT-5 моделью по умолчанию в августе, многие пользователи выступили против и потребовали доступ к GPT-4o.

Хотя многие эксперты и пользователи приветствуют функции безопасности, другие критикуют то, что они считают чрезмерно осторожной реализацией, причем некоторые пользователи обвиняют OpenAI в обращении со взрослыми как с детьми, что снижает качество сервиса. OpenAI заявила, что для достижения правильного результата потребуется время, и выделила себе 120-дневный период для итераций и улучшений.

Ник Тёрли, вице-президент и руководитель приложения ChatGPT, признал некоторые «сильные реакции на ответы 4o» из-за внедрения маршрутизатора с пояснениями.

«Маршрутизация происходит для каждого сообщения; переключение с модели по умолчанию происходит на временной основе», — написал Тёрли в X. «ChatGPT сообщит вам, какая модель активна, если спросить. Это часть более широких усилий по усилению защитных мер и обучению на основе реального использования перед более широким развертыванием».

Внедрение родительского контроля в ChatGPT получило схожий уровень одобрения и критики: одни приветствуют предоставление родителям возможности следить за использованием ИИ их детьми, а другие опасаются, что это открывает дверь для обращения OpenAI со взрослыми как с детьми.

Эти настройки позволяют родителям настраивать опыт своего подростка, устанавливая тихие часы, отключая голосовой режим и память, удаляя генерацию изображений и отказываясь от обучения модели. Подростковые аккаунты также получат дополнительную защиту контента — такую как сокращение графического контента и экстремальных идеалов красоты — и систему обнаружения, которая распознает потенциальные признаки того, что подросток может задумываться о самоповреждении.

«Если наши системы обнаружат потенциальный вред, небольшая группа специально обученных людей рассмотрит ситуацию», — говорится в блоге OpenAI. «Если будут признаки острого стресса, мы свяжемся с родителями по электронной почте, SMS и push-уведомлением на их телефоне, если они не отказались от этого».

OpenAI признала, что система не будет идеальной и иногда может поднимать тревогу, когда реальной опасности нет, «но мы считаем, что лучше действовать и предупреждать родителя, чтобы он мог вмешаться, чем молчать». Компания также заявила, что работает над способами связи с правоохранительными органами или экстренными службами, если обнаружит неминуемую угрозу для жизни и не сможет связаться с родителем.