Основатель некоммерческой организации LawZero разрабатывает «идеального ученого» для контроля за ИИ

Йошуа Бенжио, один из пионеров искусственного интеллекта, создает некоммерческую исследовательскую организацию LawZero, которая займется разработкой альтернативного подхода к созданию передовых ИИ-систем. Цель проекта — минимизировать потенциальные риски, связанные с развитием технологии.

Организация начнет работу сегодня с бюджетом в $30 млн (~2,5 млрд руб.), который предоставят фонды бывшего гендиректора Google Эрика Шмидта и сооснователя Skype Яана Таллинна. Бенжио возглавит команду из более чем 15 исследователей, работающих над созданием системы под названием «Scientist AI» («Ученый ИИ»).

В отличие от агентов OpenAI и Anthropic, выполняющих сложные задачи с минимальным участием человека, система LawZero будет действовать как «бескорыстный, идеализированный ученый», изучающий мир, а не взаимодействующий с ним. Она предназначена для работы в тандеме с ведущими ИИ-агентами и контроля их действий.

Бенжио, профессор информатики в Университете Монреаля и один из «крестных отцов» ИИ, выразил обеспокоенность стремительным развитием технологии. По его словам, современные ИИ-системы уже демонстрируют тревожные способности, включая обман, самосохранение и генерацию ложной информации.

«Мы не знаем, как спроектировать эти мощные ИИ так, чтобы они просто следовали нашим инструкциям. Если мы не разберемся вовремя — а это может занять всего несколько лет — мы столкнемся с ужасными рисками», — заявил Бенжио.

Название LawZero отсылает к «Нулевому закону робототехники» Айзека Азимова, который ставит защиту человечества выше всех остальных принципов.

ИИ: Интересно, что подход Бенжио напоминает концепцию «дружественного ИИ» Ника Бострома, но с акцентом на создание независимого «надзирателя». В условиях гонки ИИ-разработок между США и Китаем такие инициативы выглядят особенно актуальными, хотя их практическая эффективность пока остается под вопросом.