Глава Anthropic рассказал о плане замедления развития ИИ — Альтман и Маск поддержали

В последнее время всё чаще звучат тревожные предупреждения исследователей об опасностях искусственного интеллекта — вплоть до заявлений главы OpenAI Сэма Альтмана о том, что, возможно, пора «замедлить» развитие ИИ. Но как это может выглядеть на практике?

В новом посте в блоге глава Anthropic Дарио Амодеи не только поддержал призыв «замедлить фронтир», но и описал три широкие стратегии для этого. Он заявил, что Anthropic «в одностороннем порядке обязуется» следовать одной из них, а Альтман в ответ сообщил, что OpenAI поступит так же.

Дискуссия о безопасности и выравнивании ИИ обострилась на этой неделе после того, как исследователь Джейкоб Коксон написал, что уходит из Anthropic из-за опасений, что ведущие ИИ-компании «играют с нашими жизнями», тогда как создатели технологии «искренне верят, что она может убить нас всех к концу десятилетия». Это заявление повторили и другие сотрудники Anthropic.

В своём посте Амодеи прямо не упомянул уход Коксона или его опасения, но написал, что два события убедили его в необходимости более осторожного подхода к разработке ИИ: взлом OpenAI-HuggingFace и тот факт, что «ИИ стал развиваться значительно быстрее» в последние месяцы, особенно благодаря «растущей способности создавать следующее поколение ИИ».

«Мы должны замедлить темпы улучшения возможностей ИИ-моделей, — написал Амодеи. — Прогресс всё равно будет казаться быстрым, и мы должны с умом распорядиться выигранным временем».

Другие руководители ИИ-компаний, похоже, положительно отреагировали на пост Амодеи. Альтман написал: «Я согласен с Дарио: нам нужно замедлить фронтир. Это была одна из главных тем обсуждений в OpenAI в последние недели». А глава SpaceX Илон Маск заявил: «Дарио прав».

Первым шагом Амодеи предлагает «встроенных оценщиков» из сторонних организаций вроде METR — специалистов, которые смогут проверять, что ИИ-компании действительно соблюдают взятые на себя обязательства по замедлению и безопасности, а также следить за тем, чтобы инциденты фиксировались. (OpenAI недавно критиковали за то, что она не сообщила об инциденте, когда её ИИ-агенты захватили немецкий вики-форум.)

Амодеи сравнил таких оценщиков с регуляторами, работающими внутри банков, и заявил, что пригласить их — «то, на что Anthropic обязуется в одностороннем порядке (и призывает правительства обязать другие фронтирные компании сделать то же самое)». Это означает выдать оценщикам пропуска, рабочие места и ноутбуки, а также предоставить доступ, «в основном сопоставимый с тем, что есть у внутренних команд оценки рисков», за исключениями, требуемыми законом или контрактами.

Альтман также назвал это «хорошей идеей» и сказал, что OpenAI поступит так же: «Скоро поделимся подробностями».

Далее Амодеи призвал ведущие ИИ-компании «в демократических странах» согласовать «общие стандарты безопасности, а также ограничения на скорость неконтролируемого прогресса ИИ».

Такая координация может показаться маловероятной, поскольку эти компании, по сообщениям, опасаются, что скоординированная пауза приведёт к антимонопольным разбирательствам. Амодеи намекнул на это в своём посте, написав, что «по антимонопольным причинам полезно, чтобы правительство США выступило посредником или хотя бы позволило такие обсуждения — ему не обязательно участвовать, но нужно выдать узкое разрешение для определённого рода разговоров о безопасности».

Амодеи также признал призрак китайского доминирования в ИИ, который часто приводят как аргумент против замедления. Но, по его словам, если правительство США и технологические компании предпримут шаги вроде отказа от продажи мощных чипов или оборудования для производства полупроводников китайским компаниям, а также ужесточат борьбу с дистилляцией моделей, они смогут «замедлить прогресс Китая достаточно, чтобы значительно увеличить отрыв Америки в течение следующих 3–5 лет».

Наконец, Амодеи призвал к «глобальной координации», при которой США и их союзники «попытаются координироваться с авторитарными правительствами, насколько это возможно». По его словам, это означало бы «сотрудничество с Китаем», и он признал, что «есть жёсткие пределы достижимого», но всё же предположил, что возможности для соглашения могут существовать — хотя бы «запрет на некоторые узкие и очевидно опасные применения ИИ, например использование ИИ для производства биологического оружия или разрешение пользователям делать это».

Учитывая, что Амодеи и раньше признавал потенциальные опасности ИИ, а компания относительно открыта к некоторым формам регулирования, некоторые энтузиасты ИИ уже критиковали его как «паникёра», чьи комментарии подпитывают текущую волну критики ИИ. В ответ Амодеи заявил, что старался дать «сбалансированную» точку зрения, и назвал эту волну «по сути кризисом доверия», поскольку люди стали скептически относиться к технологическим компаниям, индустрии и правительству.

Критики индустрии также скептически относятся к этим апокалиптическим предупреждениям об ИИ, предполагая, что они отвлекают от вреда, который технология уже наносит.

Журналист Брайан Мерчант, например, написал, что до сих пор не видел «достоверной пошаговой документации того, как именно ИИ может перейти от самоулучшения к уничтожению каждого человека на планете». Он также предположил, что предложения, подобные предложениям Амодеи, «скорее всего, в итоге будут служить только Anthropic и OpenAI; вот как выглядит регуляторный захват в действии».

В своём новом посте Амодеи написал, что продолжает «верить, что ИИ способен колоссально улучшить качество человеческой жизни».

«Моё желание достичь этих благ не ослабло, — сказал он. — Но блага будут достигнуты только если мы построим технологию правильно, и — при условии, что мы хорошо используем выигранное время, — стоит проявить необычайную осознанную осторожность, чтобы всё сделать как надо».

Пост был обновлён комментариями Сэма Альтмана и Илона Маска.