Автор учебника по ИИ предупреждает: «Человечество обречено» в сценарии вымирания

В ходе судебного разбирательства Маск против Альтмана, которое сосредоточено на утверждении Илона Маска о том, что Сэм Альтман обманул его относительно превращения OpenAI в коммерческую компанию, были обнародованы многочисленные документы различных причастных лиц. В основном это электронные письма и текстовые сообщения, которые, среди прочего, показывают, как мировые миллиардеры боятся гения Google, стоящего за 25-летней компьютерной игрой, поскольку считают, что он может в конечном итоге получить контроль над богом (в форме общего искусственного интеллекта, или AGI).

Однако есть и интересные моменты, связанные с фигурами, не столь непосредственно вовлеченными во всю эту драму. Одно показание, которое особенно привлекло внимание, принадлежит Стюарту Расселу — компьютерному ученому, авторитету в области ИИ и соавтору книги «Искусственный интеллект: современный подход», считающейся основополагающим учебником в этой области.

Рассел, по-видимому, был привлечен к делу, чтобы помочь юристам лучше понять некоторые этические проблемы в этой области, поскольку он не работает ни на Google, ни на OpenAI. Его предварительные показания были даны 2 декабря 2025 года и содержат увлекательный и одновременно пугающий обмен мнениями о риске вымирания: то есть о вероятности того, что любой созданный людьми AGI может просто решить, что люди являются помехой, и устроить «Скайнет».

На вопрос о том, существует ли «научно обоснованный способ выразить в процентах риск вымирания от AGI», Рассел отвечает: «это правильный вопрос», после чего поясняет:

«Нам нужно быть уверенными, что риск сопоставим или ниже фонового риска, с которым мы сталкиваемся, например, от астероидов. Я не могу сказать, откуда берутся другие широко цитируемые оценки риска. Например, [экономист из MIT] Дарон Аджемоглу говорит о 25-процентном риске. Я не знаю, откуда он это взял, кроме того, что это его наилучшая оценка, основанная на всем, что он понимает о технологии, состоянии исследований безопасности, вероятности государственного регулирования и так далее.

И цифры многих ведущих экспертов — Хинтона, Бенжио, а также таких людей, как Дарио Амодеи, Сундар Пичаи (генеральный директор Google), Демис Хассабис и так далее — все они находятся в этом диапазоне.

И аргумент, который я привожу, заключается в том, что диапазон, который человечество сочло бы приемлемым, был бы ближе к 1 на 100 миллионов в год. И нет ничего в том, что говорят эти генеральные директора и другие эксперты, что дало бы основания полагать, что риск хотя бы близок к этому уровню».