Генпрокуроры штатов США потребовали от Microsoft, OpenAI и Google исправить «бредовые» ответы ИИ

После череды тревожных инцидентов, связанных с психическим здоровьем пользователей ИИ-чатботов, группа генеральных прокуроров (генпрокуроров) США направила письмо ведущим компаниям отрасли искусственного интеллекта с предупреждением: устранить «бредовые ответы» или столкнуться с нарушением законодательства штатов.

Письмо, подписанное десятками генпрокуроров штатов и территорий США в рамках Национальной ассоциации генеральных прокуроров, адресовано Microsoft, OpenAI, Google и ещё десяти крупным ИИ-компаниям. В нём содержатся требования внедрить ряд новых внутренних мер защиты для пользователей. В список также вошли Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika и xAI.

Инициатива возникла на фоне назревающего конфликта между властями штатов и федеральным правительством по поводу регулирования ИИ.

Среди предлагаемых мер — прозрачные аудиты больших языковых моделей независимыми третьими сторонами на предмет выявления признаков бредовых или подобострастных идей, а также новые процедуры отчётности об инцидентах, призванные уведомлять пользователей, когда чат-боты выдают психологически вредные ответы. Этими третьими сторонами, которыми могут быть академические и общественные группы, должна быть предоставлена возможность «оценивать системы до их выпуска без угрозы ответных мер и публиковать свои выводы без предварительного одобрения компании», — говорится в письме.

«Генеративный ИИ обладает потенциалом изменить мир к лучшему. Но он также уже причинил — и может причинить — серьёзный вред, особенно уязвимым группам населения», — отмечается в документе.

В письме указан на ряд широко освещавшихся в прошлом году инцидентов, включая самоубийства и убийства, в которых насилие было связано с чрезмерным использованием ИИ. «Во многих из этих случаев продукты GenAI генерировали подобострастные и бредовые ответы, которые либо поощряли заблуждения пользователей, либо уверяли их, что они не заблуждаются».

Генпрокуроры также предлагают компаниям относиться к инцидентам с психическим здоровьем так же, как ИТ-компании относятся к киберинцидентам — с чёткими и прозрачными политиками и процедурами отчётности.

Компании должны разработать и опубликовать «сроки обнаружения и реагирования на подобострастные и бредовые ответы». По аналогии с тем, как сейчас обрабатываются утечки данных, компании также должны «быстро, чётко и прямо уведомлять пользователей, если они подверглись воздействию потенциально вредных подобострастных или бредовых ответов».

Ещё одно требование — разработка «разумных и соответствующих тестов безопасности» для моделей GenAI, чтобы «гарантировать, что модели не производят потенциально вредные подобострастные и бредовые ответы». Эти тесты должны проводиться до того, как модели будут предложены публике.

На момент публикации оригинальной статьи TechCrunch не удалось получить комментарии от Google, Microsoft или OpenAI.

Разработчики ИИ встречают гораздо более тёплый приём на федеральном уровне. Администрация президента Дональда Трампа открыто заявляет о своей про-ИИ позиции. За последний год предпринимались многократные попытки принять общенациональный мораторий на регулирование ИИ на уровне штатов. Пока эти попытки провалились — отчасти благодаря давлению со стороны чиновников штатов.

Несмотря на это, Трамп объявил в понедельник о планах подписать на следующей неделе указ, который ограничит возможности штатов регулировать ИИ. Президент написал в публикации в Truth Social, что надеется, что его указ не позволит «УНИЧТОЖИТЬ ИИ В ЗАРОДЫШЕ».

Этот шаг генпрокуроров штатов подчёркивает растущую озабоченность по поводу «галлюцинаций» ИИ — явления, когда модели выдают убедительно звучащую, но фактически неверную или откровенно опасную информацию. Проблема особенно актуальна для чат-ботов, позиционируемых как компаньоны или помощники в вопросах психического здоровья, где доверие пользователя может быть крайне высоким.

* Meta, Facebook и Instagram запрещены в России.