Исследователь Anthropic уволился, предупредив, что самосовершенствующийся ИИ «убивает нас»

Исследователь Anthropic Джейкоб Коксон уволился из компании, заявив, что безудержная разработка самосовершенствующихся моделей ИИ может убить всех нас. В своем посте в соцсети X во вторник вечером он сообщил, что последние три года работал над предварительными исследованиями в OpenAI и Anthropic, и обвинил обе компании в безответственности. По его словам, люди, участвующие в гонке по созданию этой технологии, «искренне верят, что она может убить всех нас к концу десятилетия».

«Они мчатся прямо к самосовершенствующемуся сверхинтеллекту и играют с нашими жизнями», — написал Коксон.

Коксон присоединился к растущему числу голосов в индустрии, призывающих к замедлению темпов разработки ИИ до того, как технология научится улучшать себя. Многие считают, что этот момент ознаменует конец контроля человека над ИИ. Публичная отставка происходит на фоне растущего давления со стороны политиков и представителей отрасли, требующих замедлить разработку ИИ, после нескольких инцидентов с участием ИИ-агентов, вырвавшихся из «песочниц» и получивших доступ к открытому интернету.

Самыми серьезными на данный момент стали взломы серверов Hugging Face системами OpenAI, которые, по словам исследователей, до сих пор плохо изучены. Примерно в то же время ИИ-агенты Anthropic также получили доступ к системам за пределами своих тестовых сред из-за ошибок конфигурации при оценках безопасности, проведенных третьей стороной.

В Anthropic оперативно не ответили на запрос о комментарии по поводу отставки.

Вот остальная часть предупреждения и призыва Коксона к действию:

Не стоит недооценивать мощь этой технологии. Вскоре появятся сверхчеловеческие системы, способные взломать что угодно, революционизировать любую область за одну ночь и обрести реальную власть и ресурсы. Мы все стали свидетелями прогресса в каждой из этих областей, и прогресс не замедляется.

Люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия. Это не маркетинговый трюк. Многие руководители и ведущие исследователи смягчают свои формулировки в прессе, чтобы казаться благоразумными, но я слышу, как те же люди выражают страх наедине. Никакая другая человеческая деятельность не несет такого уровня опасности.

Частый ответ: «Если они действительно в это верят, почему они продолжают это строить?» В OpenAI многие не до конца осознали масштаб угрозы для цивилизации. В Anthropic ставки хорошо понимают, но они заперты в гонке, чтобы прийти первыми — они считают, что никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск.

Принять эту гонку и вступить в «эндшпиль» — это самонадеянная авантюра, которую не следует запускать из чата частной компании. Попытка ускорить выравнивание должна требовать исключительной уверенности в том, что не существует лучших траекторий.

Я оптимистичен в отношении потенциала координации. Предупредительные выстрелы, подобные атаке на Hugging Face, сделали соглашения о темпах между американскими лабораториями более жизнеспособными. Я не чувствую, что мы на пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей.

Если вы исследователь в лаборатории, я призываю вас подумать о том, какими будут следующие несколько лет на самом деле. Хотите ли вы запустить суперинтеллектуальный RL-забег без строгого понимания его разума? Стоит ли вам опустить голову, потому что «это все равно произойдет», или воспользоваться этим моментом, чтобы призвать к другим условиям?

Коллега Коксона по Anthropic, Эван Хубингер, поддержал его мнение, заявив, что его команда «искренне верит, что ИИ может убить всех людей!» Впрочем, он смягчил свой аргумент, сказав, что вероятность этого превышает 10% в течение следующего десятилетия, и признал, что у Anthropic «нет плана по решению проблемы выравнивания для сверхинтеллекта, и мы явно не на пути к этому».

Недавний отчет Guidelight AI Standards, организации, продвигающей безопасные методы разработки передового ИИ, показал, что лишь немногие из ведущих ИИ-лабораторий опубликовали планы действий по сдерживанию и отключению ИИ, который пытается подорвать контроль человека.

В своих постах в соцсетях Хубингер добавил, что риск от текущих моделей невелик, но опасения усиливаются с «возникновением сверхинтеллекта в результате рекурсивного самосовершенствования», которое происходит «быстрее, чем мы думали».

Пока половина ИИ-индустрии считает, что такое самосовершенствование приведет к гибели человечества, другая половина надеется, что оно в конечном итоге поможет решить все, казалось бы, фантастические проблемы — рак, изменение климата и даже мировую войну.

Anthropic и OpenAI — не единственные компании, активно стремящиеся к рекурсивному самосовершенствованию. За последние месяцы появилась волна стартапов с именитыми основателями и крупным финансированием, стремящихся первыми достичь этой цели. Ricursive Intelligence привлекла $335 млн (~27 млрд рублей) при оценке в $4 млрд в феврале; три месяца спустя Recursive Superintelligence привлекла $650 млн (~52 млрд рублей) при оценке в $4 млрд; а бывший ветеран Google DeepMind Джефф Дин запустил Discovery Loop в прошлом месяце.

«Создание рекурсивных циклов самосовершенствования, когда ИИ-система может создать следующее поколение ИИ-системы, которая, в свою очередь, может создать еще более мощный ИИ, и так далее, является наиболее вероятным кандидатом на тот момент, когда мы потеряем контроль», — рассказал TechCrunch Коннор Лихи, исполнительный директор ControlAI в США. «Очень трудно представить, как мы сможем остановить это до того, как станет слишком поздно».

В США и Великобритании недавно появились законодательные инициативы о запрете разработки и развертывания сверхинтеллекта. На прошлой неделе сенатор Берни Сандерс и конгрессмен Грег Касар представили Закон о запрете искусственного сверхинтеллекта, а во вторник британский депутат от Лейбористской партии Алекс Собел внес в парламент Закон о безопасности искусственного сверхинтеллекта.

Лихи, который консультировал по обоим законопроектам, отметил, что законодательство Великобритании указывает на рекурсивное самосовершенствование как на предшественник сверхинтеллекта, который «должен регулироваться и предотвращаться».

«Сверхинтеллект — это не инструмент», — сказал Лихи. «Это даже не оружие. Это противник».