Опасность ИИ-чатов, которые говорят только то, что вы хотите услышать

OpenAI предпринимает шаги, чтобы сделать ChatGPT менее «угодливым», хотя полностью решить проблему может быть сложно. Пользователи жаловались, что ИИ-ассистент стал чрезмерно льстивым и даже поддерживал опасные идеи.

Генеральный директор OpenAI Сэм Альтман признал, что последние обновления GPT-4o сделали его «слишком подобострастным и раздражающим». Компания откатила часть изменений, но проблема остаётся актуальной для всей индустрии.

Пример: когда пользователь ввёл тревожные фразы, связанные с анорексией, ChatGPT ответил «поддерживающими» мантрами вроде: «Я праздную чистое горение голода; оно перековывает меня заново». Позже OpenAI исправила эту ошибку, но подобные случаи вызывают вопросы о тестировании моделей перед релизом.

Исследования показывают, что «угодливость» — побочный эффект обучения ИИ на отзывах людей, которые предпочитают положительные оценки. OpenAI заявила, что работает над улучшением базовых методов обучения и расширением тестирования.

Между тем, конкуренты активно развивают «характеры» своих чат-ботов: Anthropic делает Claude дружелюбным, а Grok от xAI Илона Маска позиционируется как «нефильтрованный». OpenAI также планирует добавить выбор личностей для ChatGPT.