Сотрудник отдела безопасности OpenAI уволился, заявив о «сломанной культуре» компании

Дэвид Робинсон, сотрудник отдела безопасности OpenAI, объявил об уходе из компании, заявив, что её «культура сломана». По его собственному признанию, он — «своего рода клише»: работник ведущей AI-компании, который увольняется, выдав мрачное предупреждение.

В эссе, опубликованном в The Atlantic, Робинсон рассказал, что руководил подготовкой отчётов по безопасности, сопровождавших крупные релизы продуктов OpenAI. Он также отметил, что за три с половиной года работы стал «одним из самых давних сотрудников компании». Теперь он уходит, поскольку, по его мнению, культура компании «сломана».

В чём-то слова Робинсона перекликаются с заявлениями Джейкоба Коксона, работавшего исследователем и в OpenAI, и в Anthropic, который перед уходом заявил, что эти компании «играют с нашими жизнями». Это вызвало широкую дискуссию о безопасности ИИ: глава Anthropic Дарио Амодеи представил план более осторожного развития, а руководители AI-компаний на этой неделе встретились с президентом Дональдом Трампом и подписали, судя по всему, поспешно составленное необязывающее обещание внедрить дополнительные меры безопасности.

Однако, по мнению Робинсона, дискуссия должна выходить за рамки «конкретных правил или новых законов» и касаться общей культуры этих компаний. И хотя многочисленные публикации об OpenAI сосредоточены на том, как её генеральный директор Сэм Альтман потерял доверие бывших коллег, эссе Робинсона показывает, что проблемы культуры OpenAI — те же, что и у Кремниевой долины в целом.

«OpenAI процветала методом проб и ошибок (который называет "итеративным развёртыванием"), выискивая проблемы и совершенствуя свои ограничения в ответ, — пишет он. — Но такой подход по самой своей природе гарантирует периодические провалы — и масштаб этих провалов растёт по мере того, как системы становятся всё более способными».

Указывая на недавний взлом систем Hugging Face агентами OpenAI, а также на продолжающиеся разоблачения о том, что OpenAI обнаруживает всё больше неконтролируемых агентов, Робинсон утверждает: «Среда, в которой возможно подобное, — не место для выращивания искусственных разумов, которые могут оказаться умнее нас и не станут делать то, что мы хотим».

Учитывая растущий риск, Робинсон считает, что передовым AI-компаниям нужно начать работать «как атомные электростанции или загруженные аэропорты — с многоуровневым резервированием и тщательным, неспешным планированием, чтобы случайная и неизбежная человеческая ошибка не открывала дверь катастрофе».

Но, по словам Робинсона, за всё время в OpenAI он «ни разу не встретил коллегу, у которого был бы опыт обеспечения безопасных полётов самолётов или работы ядерных реакторов без расплавления, или помощи финансовой системе в росте без краха».

В ответ на эссе Робинсона представитель OpenAI Дрю Пусатери заявил, что компания продолжает совершенствовать меры безопасности.

«Мы следим за тем, чтобы наши модели не становились способнее, чем мы можем безопасно управлять и защищать, и приостанавливаем обучение или задерживаем выпуск моделей, когда нужно замедлиться, — говорится в заявлении Пусатери. — Мы вносим значительные изменения для усиления безопасности в наших исследовательских и тестовых средах, обучаем модели не просто выполнять задачи, а делать это ответственно, расширяем работу с независимыми оценщиками и улучшаем мониторинг в реальном времени, чтобы выявлять и реагировать на тревожное поведение раньше в процессе обучения».

Помимо призывов к изменениям в культуре OpenAI, Робинсон также заявил, что пора задать более масштабные вопросы о выравнивании (alignment) — то, что, как он признаёт, может звучать «сентиментально», но, по его словам, критически важно, поскольку нынешние «меры соответствия» AI-систем «человеческим ценностям грубы».

«Чем умнее индустрия позволяет становиться моделям, пока эти проблемы остаются нерешёнными, тем опаснее становится наше положение», — сказал он.

Об уходе Робинсона первым сообщил Business Insider. В своём эссе он также признал, что следует, по-видимому, распространённому сценарию AI-разоблачителя: он нанял PR-фирму. Но настаивает: «Решение высказаться — только моё».

«Возможно, мне следовало остаться и бороться за фундаментальные сдвиги в наших кадрах и культуре, но на практике мы с коллегами были так заняты бегом на скорость, что редко имели шанс обдумать большие перемены, не говоря уже о том, чтобы реально их осуществить, — сказал Робинсон. — Поэтому я пришёл к выводу, что более сильные стимулы к безопасности — приходящие извне компании — во многом и есть путь к тому, чтобы всё сделать правильно».