AGI уже всё. Теперь все ждут RSI: что такое рекурсивное самосовершенствование ИИ и почему о нем все говорят

Термин «рекурсия» стал новым модным словом в кругах ИИ. Два отдельных стартапа уже взяли это название, а многие другие начали ссылаться на рекурсивное самосовершенствование (RSI) в своих дорожных картах. Как и AGI до него, RSI стал трехбуквенным символом катастрофического взлета ИИ, хотя единого мнения о том, что именно он означает, до сих пор нет.

В общих чертах, RSI относится к системе ИИ, которая может непрерывно улучшать себя. Как только системы ИИ смогут управлять циклом обновления лучше, чем люди, процесс может стать замкнутым, ограниченным только доступной вычислительной мощностью, а люди станут не нужны или даже бесполезны. Страшно это или нет, но именно к такому видению стремятся многие лаборатории ИИ.

Ранее в этом месяце известный исследователь ИИ Ричард Сочер запустил стартап Recursive Superintelligence с явной целью достижения RSI. «Наша главная цель — построить по-настоящему рекурсивный, самосовершенствующийся сверхразум в масштабе, — заявил Сочер TechCrunch. — Это означает, что весь процесс генерации идей, их реализации и проверки исследовательских гипотез будет автоматическим».

Одним из самых заметных исследователей в этой области является Алекс Карпати, легендарная фигура из Tesla и OpenAI. Он использует рои агентов для обучения LLM на простых задачах в рамках проекта Auto-Research. Карпати необычно открыто рассказывает о проекте, регулярно публикуя новости о достижениях в соцсети X и выкладывая наработки в открытый GitHub-репозиторий. Пока его работа в основном ограничивается незначительными улучшениями модели масштаба GPT-2, но этого достаточно, чтобы убедить многих других исследователей следовать за мечтой об RSI.

Адаптация, основанная Сарой Хукер (бывшей сотрудницей Cohere и Google), недавно запустила аналогичный инструмент под названием AutoScientist для автоматизации обучения前沿ных моделей. Как и авто-исследователи Карпати, система обучает агентов вносить постепенные улучшения, но для Адаптации цель — упростить обучение полномасштабной前沿ной модели.

Основатель Disarray Дорис Синь привлекла более конкретный интерес к RSI, когда ее самообучающийся агент машинного обучения завоевал 28 медалей в недавнем соревновании Kaggle, победив многих агентов, обученных людьми. По ее мнению, главная проблема — надежность. «Я бы сказала, что при бесконечных вычислительных мощностях и бесконечном временном горизонте мы уже там, — сказала Синь. — Я хочу доказать, что это на самом деле не творческая задача. Это просто много рутинной инженерной работы».

До цели еще далеко

Есть также множество доказательств того, что индустрия ИИ еще не очень близка к рекурсивным системам в каком-либо значимом смысле — и все еще пытается общаться с настороженной публикой о своем прогрессе. Так, генеральный директор Google Сундар Пичаи по сути признал это в недавнем интервью подкасту. «Это континуум, и мы все определенно добиваемся прогресса, — сказал Пичаи. — Но так, как люди описывают RSI, это означало бы следующий уровень ускорения и имело бы массу последствий, но мы пока не совсем там».

Однако континуум включает в себя огромное количество самообучающихся систем ИИ. В январе один из ведущих программистов Anthropic, работающий над Claude Code, оценил, что «близко к 100%» кода его команды было написано этим инструментом — откровенное признание того, что Claude Code буквально писал сам себя.

То, что инженеры используют инструмент ИИ, не означает, что инструмент может заменить их, но Anthropic, похоже, приближается и к замене инженеров. В недавнем опросе, связанном с предварительным просмотром Mythos, пятеро из 18 инженеров Anthropic полагали, что при улучшении обвязки эта версия Mythos вскоре сможет заменить инженера L4 — программиста среднего звена, способного самостоятельно вести сложные проекты. Тем не менее, были и некоторые ожидаемые слабые места. «К числу основных слабых сторон Claude по сравнению с L4 относятся: самостоятельное управление неоднозначными задачами на неделю, понимание приоритетов организации, вкус, верификация, следование инструкциям и эпистемика», — говорится в отчете.

Другими словами, его слабости — это все, что связано с самоуправлением, что является краеугольным камнем RSI. Как и в случае с термином AGI, индустрия ИИ также не может сказать, как далеко она находится от демонстрации значимой рекурсивной системы. Когда Центр безопасности и новых технологий Джорджтаунского университета собрал группу экспертов для изучения RSI в прошлом году, группа обнаружила серьезные расхождения в оценках: одни ожидали неизбежного взрыва «сверхразума», другие — более медленного прогресса и возможного плато.

Хелен Тонер, директор CSET и бывший член совета директоров OpenAI, заявила TechCrunch, что простого использования инструментов ИИ для проведения исследований в области ИИ недостаточно, чтобы квалифицировать это как RSI. «Они просто используют ИИ по максимуму, — говорит Тонер. — И я думаю, это отличается от классического определения RSI, которое подразумевает, что люди не нужны».

Тонер ссылается на недавний пост Айежи Котры из METR, в котором выделяются различные этапы на пути к захвату исследований ИИ. Один этап, который Котра называет «адекватностью», наступит, когда система сможет продолжать исследования после удаления всех людей, даже если результаты будут не такими ценными или эффективными. «Паритет» наступает, когда система, работающая только на ИИ, становится такой же хорошей в исследованиях, как и система, работающая только с людьми. «Превосходство», финальная стадия, наступает, когда система только на ИИ превосходит совместную систему людей и ИИ. В конечном итоге Котра приходит к выводу, что ИИ очень близок к порогу адекватности и способен самостоятельно выполнять некоторую работу. «Я бы не был полностью шокирован, если бы мне сказали, что этот этап уже пройден, и я ожидаю, что это произойдет в ближайшие пару лет», — пишет Котра. Она менее ясна в отношении того, когда наступит паритет, но считает, что как только это произойдет, это «значительно ускорит темпы прогресса ИИ, что приведет к превосходству ИИ в исследованиях в течение следующего года».

Препятствия на пути

Учитывая, что многое в ИИ строится на законах масштабирования, существует сильная тенденция думать, что RSI будет следовать той же кривой. Тонер считает, что многие из тех, кто занимается исследованиями и разработками ИИ через RSI, «думают об этом как о довольно гладкой лестнице, по которой можно просто продолжать масштабироваться». Но даже если исследователям ИИ удастся вносить постепенные улучшения, как у Карпати, возникнут более серьезные проблемы с передачей всего процесса исследований. Тонер проводит аналогию с историей вычислений, где люди передавали все больше и больше процессов, но при этом продолжали руководить сверху. «Мы перешли от машинных языков к ассемблеру и компилируемым языкам; вы все дальше и дальше от внутренностей компьютера, — говорит Тонер. — Но человек все еще, в некотором интуитивном смысле, управляет шоу».

Выход за рамки этой парадигмы потребует серьезных усилий, как в инженерии, так и в выравнивании. Но даже при огромных инвестициях бесконечных вычислительных мощностей не существует, и фундаментальный компромисс между человеческим трудом и машинным интеллектом будет трудно преодолеть. Что касается полной рекурсивной системы ИИ из апокалиптических видений? Единственное, в чем исследователи в основном сходятся, — это то, что, как и AGI, ее пока нет.