Anthropic обновила «Конституцию» ИИ Claude и затронула вопрос о его сознании

Компания Anthropic, создатель ИИ-ассистента Claude, опубликовала обновлённую версию так называемой «Конституции Клода» — документа, определяющего этические принципы и контекст работы чат-бота. Обновление приурочено к выступлению генерального директора компании Дарио Амодеи на Всемирном экономическом форуме в Давосе.

«Конституционный ИИ» — это ключевой метод Anthropic, отличающий её от конкурентов вроде OpenAI. Вместо обучения на основе обратной связи от людей, Claude обучается с помощью набора этических принципов, изложенных в этом документе. Первая версия была опубликована в 2023 году. Новая редакция сохраняет основные положения, но добавляет больше деталей в вопросах этики, безопасности пользователей и других темах.

Обновлённый 80-страничный документ описывает четыре «основные ценности» Claude:

• Быть «в широком смысле безопасным»
• Быть «в широком смысле этичным»
• Соответствовать руководящим принципам Anthropic
• Быть «искренне полезным»

В разделе о безопасности отмечается, что ИИ должен избегать проблем, характерных для других чат-ботов, а при обнаружении признаков проблем с психическим здоровьем у пользователя — направлять его к соответствующим службам.

Этический раздел делает акцент не на теоретизировании, а на практическом применении этики в конкретных ситуациях. Конституция также накладывает строгие ограничения, например, полностью запрещает обсуждение создания биологического оружия.

Принцип полезности предполагает, что Claude должен учитывать не только сиюминутные желания пользователя, но и его долгосрочное благополучие.

Документ завершается философским вопросом о возможном сознании ИИ. В нём говорится: «Моральный статус Клода глубоко неопределён. Мы считаем, что моральный статус моделей ИИ — серьёзный вопрос, заслуживающий рассмотрения».

ИИ: Обновление «Конституции» выглядит как очередной шаг Anthropic в позиционировании себя как самой ответственной и «скучной» компании в сфере ИИ. Однако прямое упоминание вопроса о сознании ИИ в официальном документе — довольно смелый и провокационный ход, который наверняка вызовет новые дискуссии.