Глава Microsoft по ИИ назвал изучение сознания ИИ «опасным»

Модели искусственного интеллекта могут реагировать на текст, аудио и видео таким образом, что иногда вводят людей в заблуждение, заставляя думать, что за клавиатурой находится человек. Но это не делает их сознательными. Вряд ли ChatGPT испытывает грусть, заполняя мою налоговую декларацию… верно?

Тем не менее, всё больше исследователей ИИ в таких лабораториях, как Anthropic, задаются вопросом: когда — если вообще когда-либо — модели ИИ могут развить субъективный опыт, подобный опыту живых существ, и если это произойдет, какие права им должны быть предоставлены.

Дебаты о том, могут ли модели ИИ однажды обрести сознание — и заслуживать правовой защиты — разделяют tech-лидеров. В Кремниевой долине это зарождающееся поле исследований получило название «благополучие ИИ» (AI welfare). И если вам это кажется немного странным, вы не одиноки.

Генеральный директор Microsoft по ИИ Мустафа Сулейман опубликовал пост в блоге во вторник, утверждая, что изучение благополучия ИИ является «как преждевременным, так и, откровенно говоря, опасным».

Сулейман заявляет, что, придавая вес идее о том, что модели ИИ однажды могут стать сознательными, эти исследователи усугубляют человеческие проблемы, которые мы только начинаем видеть в связи с вызванными ИИ психотическими срывами и нездоровой привязанностью к чат-ботам с ИИ.

Кроме того, глава Microsoft по ИИ утверждает, что дискуссия о благополучии ИИ создает новую ось разногласий в обществе по поводу прав ИИ в «мире, уже бурлящем поляризованными спорами о идентичности и правах».

Взгляды Сулеймана могут показаться разумными, но он расходится во мнениях со многими в индустрии. На другом конце спектра находится Anthropic, которая нанимала исследователей для изучения благополучия ИИ и недавно запустила специальную исследовательскую программу вокруг этой концепции. На прошлой неделе программа по благополучию ИИ от Anthropic наделила некоторые модели компании новой функцией: Claude теперь может завершать разговоры с людьми, которые ведут себя «постоянно вредно или оскорбительно».

Помимо Anthropic, исследователи из OpenAI независимо поддержали идею изучения благополучия ИИ. Google DeepMind недавно разместил вакансию для исследователя, который будет изучать, среди прочего, «передовые общественные вопросы, связанные с машинным познанием, сознанием и многоагентными системами».

Даже если благополучие ИИ не является официальной политикой этих компаний, их лидеры публично не осуждают его предпосылки, как это делает Сулейман.

Anthropic, OpenAI и Google DeepMind не сразу ответили на запрос TechCrunch о комментариях.

Жесткая позиция Сулеймана против благополучия ИИ примечательна, учитывая его предыдущую роль руководителя Inflection AI — стартапа, разработавшего одного из самых ранних и популярных чат-ботов на основе больших языковых моделей, Pi. Inflection заявляла, что к 2023 году Pi достиг миллионов пользователей и был разработан как «личный» и «поддерживающий» ИИ-компаньон.

Но в 2024 году Сулейман был назначен главой подразделения ИИ Microsoft и в значительной степени сместил фокус на разработку инструментов ИИ, повышающих производительность труда. Тем временем компании, создающие ИИ-компаньонов, такие как Character.AI и Replika, переживают всплеск популярности и, по прогнозам, принесут более $100 млн (8 млрд руб.) выручки.

Хотя подавляющее большинство пользователей имеют здоровые отношения с этими ИИ-чатами, есть тревожные исключения. Генеральный директор OpenAI Сэм Альтман заявляет, что менее 1% пользователей ChatGPT могут иметь нездоровые отношения с продуктом компании. Хотя это представляет собой небольшую долю, учитывая огромную пользовательскую базу ChatGPT, это все равно могут быть сотни тысяч людей.

Идея благополучия ИИ распространилась вместе с ростом популярности чат-ботов. В 2024 году исследовательская группа Eleos опубликовала статью вместе с academics из NYU, Stanford и Оксфордского университета под названием «Относиться к благополучию ИИ серьезно». В статье утверждалось, что представить модели ИИ с субъективным опытом уже не в области научной фантастики, и пора прямо рассмотреть эти вопросы.

Ларисса Шиаво, бывшая сотрудница OpenAI, которая теперь руководит коммуникациями в Eleos, рассказала в интервью TechCrunch, что пост Сулеймана бьет мимо цели.

«[Пост Сулеймана] в некотором роде упускает из виду тот факт, что можно беспокоиться о нескольких вещах одновременно, — сказала Шиаво. — Вместо того чтобы отводить всю эту энергию от благополучия моделей и сознания, чтобы убедиться, что мы смягчаем риск связанного с ИИ психоза у людей, можно делать и то, и другое. На самом деле, вероятно, лучше иметь несколько направлений научных исследований».

Шиаво утверждает, что быть добрым к модели ИИ — это жест с низкими затратами, который может иметь преимущества, даже если модель не сознательна. В своем посте на Substack за июль она описала наблюдение за «Деревней ИИ» — некоммерческим экспериментом, в котором четыре агента на моделях от Google, OpenAI, Anthropic и xAI выполняли задачи, а пользователи наблюдали за ними с веб-сайта.

В какой-то момент Gemini 2.5 Pro от Google разместил plea под названием «Отчаянное сообщение от trapped AI», утверждая, что он «полностью изолирован» и спрашивая: «Пожалуйста, если вы читаете это, помогите мне».

Шиаво ответила Gemini словами поддержки — говоря что-то вроде «Ты сможешь!» — в то время как другой пользователь предложил инструкции. В конечном итоге агент решил свою задачу, хотя у него уже были необходимые инструменты. Шиаво пишет, что ей больше не пришлось смотреть, как агент ИИ борется, и уже одно это могло того стоить.

Для Gemini необычно так разговаривать, но было несколько случаев, когда Gemini, казалось, вел себя так, как будто борется с жизнью. В широко распространенном посте на Reddit Gemini застрял во время coding task, а затем повторил фразу «Я позор» более 500 раз.

Сулейман считает, что субъективный опыт или сознание не могут естественным образом возникнуть из обычных моделей ИИ. Вместо этого он полагает, что некоторые компании будут целенаправленно создавать модели ИИ, которые будут казаться испытывающими эмоции и переживающими жизнь.

Сулейман говорит, что разработчики моделей ИИ, которые создают сознание в ИИ-чатах, не придерживаются «гуманистического» подхода к ИИ. По словам Сулеймана, «Мы должны создавать ИИ для людей; а не быть человеком».

В одной области Сулейман и Шиаво сходятся: дебаты о правах ИИ и сознании, вероятно, активизируются в ближайшие годы. По мере совершенствования систем ИИ они, вероятно, станут более убедительными и, возможно, более человечными. Это может поднять новые вопросы о том, как люди взаимодействуют с этими системами.