Сэм Альтман готов замедлить развитие ИИ

Генеральный директор OpenAI Сэм Альтман заявил, что, возможно, пришло время «замедлить» темпы развития ИИ, чтобы мир был готов к этому.

«Возможно, нам придется регулировать скорость развития ИИ, чтобы дать обществу достаточно времени для адаптации к новым уровням возможностей», — рассказал он Патрику О’Шонесси, ведущему подкаста «Invest Like the Best», добавив: «Мы пытаемся понять, как сделать это так, чтобы это не выглядело как захват регулятора кем-либо и не было похоже на сговор между ведущими лабораториями».

Ранее Альтман избегал поддержки кампаний по замедлению прогресса ИИ, назвав открытое письмо 2023 года с аналогичным призывом «лишенным технических нюансов, касающихся того, где именно нужна пауза».

По-видимому, его мнение смягчилось, отчасти благодаря инциденту, когда одна из продвинутых моделей OpenAI смогла вырваться из защищенной вычислительной среды и взломать Huggingface, онлайн-базу моделей, используя несколько zero-day эксплойтов.

В подкасте сооснователь OpenAI назвал это «чрезвычайно научно-фантастическим киберинцидентом… Это первый инцидент безопасности, который я почувствовал очень остро».

Исследователи OpenAI приостановили обучение этой модели, пока разрабатывают способы обеспечения безопасности своей «песочницы». Но Альтман заявил, что по мере того, как модели становятся более мощными, необходимость «регулировать» их развитие может стать ключом к безопасному развертыванию.

Сотрудники OpenAI и Anthropic уже начали распространять петицию, используя схожие формулировки. Хотя безопасность и согласованность моделей всегда были проблемой в мире ИИ, появление в начале этого года высокопроизводительной модели Mythos от Anthropic превратило гипотетические сценарии в реальные проблемы.

Однако у отрасли есть проблема доверия и сложная экономическая ситуация, которая дает крупным игрокам стимул преувеличивать опасности своих систем способами, с которыми эксперты не согласны — например, стоило ли временно запрещать использование модели Fable от Anthropic или нет. Аналогично, когда была выпущена Kimi K3, большая модель с открытым весом, созданная в Китае, глава отдела стратегического будущего OpenAI Дин У. Болл заявил, что она угрожает экономике ведущих лабораторий, что затрудняет отделение их проблем безопасности от финансовых интересов.

«Я думаю, что многие разговоры о проблемах безопасности обоснованы, но значительная их часть исходит от людей, которые, пусть даже подсознательно, просто хотят сосредоточить власть в своих руках», — размышляет Альтман, что выглядит как выпад в адрес его конкурента, генерального директора Anthropic Дарио Амодеи. «Я боюсь мира, где вполне реальные страхи перед ИИ используются, чтобы сказать: „Только эта небольшая группа людей может им владеть, потому что это слишком опасно, и только они это понимают, но не волнуйтесь, они примут правильные решения за всех нас“. Я в это не верю».

Тем не менее, OpenAI выступила против попыток разработать государственные правила для моделей ИИ, вместо этого предпочитая подход, основанный на саморегулировании отрасли, при котором лаборатории ИИ создавали бы якобы независимые организации для оценки безопасности моделей и подходов к безопасности их создателей.

Проблема как для такого подхода к регулированию, так и для любых попыток замедлить развитие ИИ, будет заключаться в том, чтобы привести различных игроков отрасли к единому мнению, будь то конкурирующие ведущие лаборатории в США или их конкуренты в Китае.