ИИ создает Doom на собственном игровом движке

Создание ИИ полноценного игрового движка с последовательной логикой — уникальное достижение. В Doom от GameNGen можно играть как в настоящую видеоигру, с поворотами и обстрелами, стрельбой из оружия и точным нанесением урона от врагов и опасностей окружающей среды. Настоящий уровень строится вокруг вас в реальном времени по мере того, как вы его исследуете. Он даже ведет в основном точный подсчет боеприпасов вашего пистолета. Согласно исследованию, игра работает со скоростью 20 кадров в секунду и ее трудно отличить в коротких клипах от настоящего игрового процесса Doom.

Чтобы получить все данные для обучения, необходимые GameNGento для точного моделирования собственных уровней Doom, команда Google обучила своего агента AI играть в Doom на всех уровнях сложности и моделировать ряд уровней навыков игрока. Такие действия, как сбор бонусов и прохождение уровней, вознаграждались. В то же время урон или смерть игрока наказывались, создавая агентов, которые могли играть в Doom, и предоставляя сотни часов визуальных данных для обучения модели GameNGen для ссылки и воссоздания.

Значительным новшеством в исследовании является то, как ученые поддерживали связность между кадрами при использовании Stable Diffusion в течение длительных периодов. Stable Diffusion — это повсеместная генеративная модель ИИ, которая генерирует изображения из изображений или текстовых подсказок и используется для анимированных проектов с момента ее выпуска в 2022 году.

Две самые существенные слабости Stable Diffusion для анимации — это отсутствие связности от кадра к кадру и его окончательная регрессия в визуальной точности с течением времени. Как видно из короткометражного фильма Corridor Anime Rock Paper Scissors, Stable Diffusion может создавать убедительные неподвижные изображения, но страдает от мерцающих эффектов, когда модель выводит последовательные кадры (обратите внимание, как тени, кажется, прыгают по всем лицам актеров от кадра к кадру).

Мерцание можно устранить, если передать Stable Diffusion его выход и обучить его с помощью созданного им изображения, чтобы кадры соответствовали друг другу. Однако после нескольких сотен кадров генерация изображения становится все менее и менее точной, что похоже на эффект многократного копирования фотокопии.

Google Research решила эту проблему, обучив новые кадры с более расширенной последовательностью пользовательских вводов и кадрами, которые им предшествовали, а не просто одним изображением подсказки, и повредив эти контекстные кадры с помощью гауссовского шума. Теперь отдельная, но связанная нейронная сеть исправляет свои контекстные кадры, обеспечивая постоянно самокорректирующееся изображение и высокий уровень визуальной стабильности, который сохраняется в течение длительного времени.

Пара покадровых фотографий GameNGen, генерирующего Doom без (вверху) и с (внизу) гауссовым шумом для исправления собственных опорных кадров. Изображение: Дани Валевски и др.

Примеры GameNGen, которые мы видели до сих пор, по общему признанию, далеки от совершенства. На экране в случайные моменты времени появляются пятна и размытости. Мертвые враги после смерти превращаются в размытые холмы. Doomguy на HUD постоянно двигает бровями вверх и вниз, как будто он The Rock на Monday Night Raw. И, конечно же, генерируемые уровни в лучшем случае непоследовательны; встроенное видео YouTube выше заканчивается в ядовитой яме, где Doomguy внезапно перестает получать урон на 4% и полностью меняет свою компоновку после поворота внутри нее на 360 градусов.

Хотя результатом является не выигрышная видеоигра, GameNGen производит впечатляющий симулякр Doom, который мы любим. Где-то между техническими демонстрациями и мысленными экспериментами о будущем ИИ, GameNGen от Google станет важнейшей частью разработки будущих игр ИИ, если эта область продолжится. В сочетании с исследованиями Caltech по использованию Minecraft для обучения моделей ИИ последовательной генерации карт, движки видеоигр на основе ИИ могут появиться на компьютере рядом с вами раньше, чем мы думали.

Источник: Tomshardware.com