Группа исследователей из Китая и Сингапура недавно опубликовала статью, в которой подробно описывается задача заставить ИИ играть в Red Dead Redemption II (RDR2). Они также оценили и прокомментировали игровую производительность ИИ. В статье «На пути к общему компьютерному контролю: мультимодальный агент для Red Dead Redemption II как пример» (PDF) мы узнаем о концепции общего компьютерного контроля (GCC) для ИИ, а также о системе агентов из шести модулей, получившей название CRADLE, и которая используется для интерфейса между GPT-4V и RDR2. В их заключение основные проблемы, с которыми сталкивается игровой ИИ-агент, связаны с системой машинного зрения GPT-4V.

Согласно исследовательской работе, этот игровой проект RDR2 дает представление о том, насколько далеко продвинулся ИИ в достижении общего искусственного интеллекта (AGI). С этой целью исследователи, по сути, пытаются заставить ИИ, работающий на базе OpenAI GPT-4V, взаимодействовать с компьютером, воспринимая визуальные и звуковые сигналы для разумного использования компьютера, как средний разбирающийся в компьютере человек. Таким образом, они пытаются продемонстрировать, что ИИ может добиться успеха в сложном общем компьютерном управлении (GCC).

Исследователи выбрали RDR2 в качестве игры, на которую стоит обратить внимание, поскольку они утверждают, что она имеет «сложную систему управления, которая воплощает в себе самые требовательные компьютерные задачи и позволяет оценить границы производительности платформы в таких виртуальных средах». Действительно, RDR2 предлагает игрокам богатую среду и разнообразные ситуации для навигации. Кроме того, такие элементы пользовательского интерфейса, как диалоги, уникальные значки, внутриигровые подсказки и инструкции, гарантируют, что никакие базовые знания не воспринимаются как нечто само собой разумеющееся, что отлично подходит для обучения ИИ. Наконец, исследователи утверждают, что управление игрой в RDR2 с помощью мыши и клавиатуры обеспечивает лучшую тренировку для GCC, чем большинство других программ, которые пользователь компьютера может использовать изо дня в день.

Хотя опубликованная статья посвящена RDR2, CRADLE предназначен «для поддержки более широкого спектра игр, таких как игры-симуляторы и стратегии, а также различных программных приложений». Ключевым нововведением здесь является введение структуры CRADLE, поэтому давайте сейчас рассмотрим ее более внимательно.

Выше вы можете увидеть обзор того, как CRADLE справляется с играм, а особенно с RDR2. Исследователи надеялись продемонстрировать способность CRADLE изучать игру с нуля (без доступа к какому-либо внутреннему состоянию игры или API), как это делает человек. Затем ИИ-агент должен был продвигаться в игре, перемещаясь по миру и выполняя задания, следуя основной сюжетной линии RDR2.

В целом, CRADLE, похоже, добился умеренного успеха в RDR2. Ключевым выводом было то, что «CRADLE может последовательно выполнять все задачи основной сюжетной линии». Некоторыми заметными исключениями были: «Защита Датча», которая включает в себя стремительную перестрелку, «Поиск дома», который требует от агента исследования сложной внутренней среды, и задание с открытым исходом и длинным горизонтом.

Вы можете увидеть важность вывода и отражения задач в CRADLE выше. Эти уточнения особенно важны для перемещения агента по игре и понимания выполнения задач. В ходе исследования в некоторых повторяющихся трудностях, с которыми сталкивался CRADLE, виноват GPT4-V. В частности, утверждается, что «возможности пространственно-визуального распознавания GPT-4V недостаточны для точного детального контроля». Более того, утверждается, что GPT4-V не справляется с концепциями, специфичными для предметной области, такими как уникальные значки в игре, с пониманием мини-карт, а также с общими препятствиями в игровой среде.

Полный текст исследования можно прочитать по этой ссылке, но нам бы хотелось, чтобы исследователи поделились видео игрового процесса RDR2 с использованием своего ИИ-агента. Интересно, как другие мультимодальные ИИ могут работать в RDR2 через CRADLE?