Уволенные исследователи безопасности OpenAI отрицают нарушения и предупреждают о «сдерживающем эффекте»

Три исследователя в области безопасности ИИ — Жасмин Ван, Томек Корбак и Микита Балесни, уволенные из OpenAI на прошлой неделе, — опубликовали открытое письмо, в котором отрицают обвинения компании в нарушении процедур обращения с конфиденциальной информацией. Они предупреждают, что их увольнение окажет «сдерживающий эффект» на корпоративную культуру.

«Мы обеспокоены тем, что внутренние и внешние коммуникации вокруг нашего увольнения заставили наших бывших коллег бояться говорить и действовать так, как ещё неделю назад было неотъемлемой частью работы в OpenAI», — написали исследователи в открытом письме, адресованном комитету по безопасности и защите OpenAI, консультативной группе по безопасности и совету по миссии.

Исследователей уволили после того, как они, по утверждению компании, поделились конфиденциальной информацией со сторонней организацией по безопасности ИИ. OpenAI заявила, что они нарушили политику компании, «получая доступ к чувствительной корпоративной информации и обращаясь с ней ненадлежащим образом».

«ИИ — не обычная технология, и OpenAI — не обычная компания, — пишут авторы письма. — Те из нас, кто работает над безопасностью, видят риски раньше других, и мы полагаемся на тесное сотрудничество с внешними экспертами, чтобы понять, как с ними справляться. Свобода делать это без страха и наличие чётких внутренних процедур, позволяющих такую работу, — сами по себе являются важнейшим механизмом безопасности».

По их словам, увольнение отражает более широкий сдвиг в культуре OpenAI, которая раньше поощряла сотрудников «поднимать вопросы безопасности и открыто выражать несогласие». Теперь же сотрудники «не понимают, на чём стоят», когда поведение, считавшееся нормой месяц назад, внезапно становится поводом для увольнения.

«Учитывая серьёзные проблемы безопасности вокруг разработки ИИ, сотрудники не должны работать в среде, где страх и нечёткие правила мешают работе над безопасностью ИИ и ослабляют стороннюю подотчётность, — пишут они. — Увольнения, подобные нашему, проведённые и объявленные столь внезапно, подрывают открытую культуру, которой OpenAI гордилась в прошлом».

В письме трое исследователей отрицают причастность к утечке в The Information информации о менее отслеживаемых архитектурах в новейших моделях OpenAI, которые затрудняют мониторинг цепочек рассуждений. Они также отрицают взаимодействие с внешними сторонами за пределами своих должностных обязанностей.

OpenAI формально не ответила на открытое письмо, но поделилась с TechCrunch внутренней служебной запиской, приписываемой одному из руководителей исследований. В ней восхваляется вклад троих исследователей в безопасность ИИ и отрицается, что они были уволены в качестве мести.

«Хочу чётко заявить: эти решения не были связаны с поднятием вопросов безопасности или публичными высказываниями, — говорится в записке. — Мы всегда это поощряли и будем поощрять. Мы не увольняем сотрудников за то, что они поднимают проблемы».

Отдельно представитель OpenAI сообщил TechCrunch, что трое были уволены после расследования, выявившего «систематические нарушения» и «явное нарушение нашей политики обращения с исследовательской информацией», выходящее за рамки простого обмена данными с внешней группой по оценке ИИ.

OpenAI не ответила напрямую на вопросы TechCrunch о том, какие именно политики нарушили исследователи, при каких обстоятельствах их уволили и как компания защищает сотрудников, поднимающих вопросы безопасности и сотрудничающих с внешними оценщиками.

Увольнения породили спекуляции, особенно на фоне проверок OpenAI в связи с недавними инцидентами в области безопасности, включая случаи с вышедшими из-под контроля агентами и утечками о её моделях.

В письме также описывается реакция исследователей на инцидент с Hugging Face, когда рой агентов вырвался из песочницы и проник во внешние системы. По словам авторов, этот инцидент и расследование были «беспрецедентными», а значит, «внутренние политики разрабатывались в реальном времени». Из-за чувствительности расследования Корбак считал, что действует в рамках политик и норм OpenAI, тесно общаясь с внешними оценщиками безопасности для построения доверия.

В то же время Балесни работал внутри компании над растущей проблемой отслеживаемости ИИ — усилия, которые, как говорится в письме, «могут увенчаться успехом только при широком взаимодействии с внешними сторонами». Согласно письму, Балесни координировал свою работу с членами совета директоров и руководителями OpenAI и получал их поддержку.

«На протяжении всего времени Микита согласовывал свои действия с руководством и старался удалять чувствительные детали из материалов перед их передачей, — говорится в письме. — Он действовал добросовестно и в рамках корпоративных норм, существовавших на тот момент».

В отдельной ветке в X Ван подробнее рассказала о своём увольнении, объяснив, что OpenAI сообщила ей: причина — доступ к электронной почте одного из руководителей.

«OpenAI делегировала мне этот доступ для рекрутинга, — написала она. — Когда он мне больше не понадобился, я попросила IT удалить его. Они не выполнили мою просьбу, сама я удалить не могла, а почтовые ящики в приложении на моём телефоне были объединены неразличимым образом. Когда я случайно открыла чувствительное письмо, я в течение нескольких минут сообщила об этом руководителю и снова попросила IT. Ничего из этого не скрывалось».

Ван также заявила, что причины увольнений «не сходятся» и что она с коллегами «не первые, кого вытеснили из OpenAI при подозрительных обстоятельствах».

Исследователи призвали OpenAI соблюдать публичные обязательства: внедрить сторонних аудиторов по безопасности внутри организации, сохранять отслеживаемость передовых моделей и «поддерживать открытую и прозрачную культуру диалога между исследователями безопасности и остальной частью экосистемы безопасности».

Согласно служебной записке, OpenAI согласна с их рекомендациями.

«Если сотрудники не выступят сейчас против такого рода манёвров, я опасаюсь, что мы будем не последними, — сказала Ван. — Послание всем, кто ещё работает в OpenAI, ясно: поднимайте вопросы или тесно сотрудничайте с внешними группами по безопасности — и вы можете стать следующими, так и не узнав почему. Нельзя безопасно создавать AGI, если люди, наиболее близкие к рискам, боятся говорить».

Статья была обновлена дополнительной информацией от OpenAI.