Фотореалистичный шутер от первого лица работает в браузере: всё благодаря технологии Gaussian Splatting

В это трудно поверить, но прямо сейчас вы можете сыграть в фотореалистичный шутер от первого лица в своем браузере, даже если у вас нет мощного игрового GPU. Этот простой FPS-проект не предлагает захватывающего дух геймплея, но поражает тем, как создает фотореалистичное окружение, не нагружая ресурсы вашего ПК.

Проект был создан Яковом Сумыгиным, инженером-программистом компании Snap Inc (создатели SnapChat), и построен с использованием браузерного игрового движка компании PlayCanvas. Для создания реалистичного окружения этого крошечного шутера Сумыгин использовал технологию «Gaussian Splatting», которая объединяет несколько изображений реального окружения с данными о положении камеры, создавая тем самым лоскутную виртуальную реконструкцию пространства, которую затем можно просматривать под новыми углами (через Tom's Hardware).

Это техника, которая отказывается от полигонов, обычно используемых для создания виртуального окружения, в пользу проклятого кузена вокселя — гауссиана. Если сильно упростить, полигоны — это треугольники с четкими гранями, а гауссианы имеют гораздо более размытые края.

Три гауссиана сами по себе могут выглядеть незначительно, но «набрызгивание» миллионов из них может создать 3D-сцену, которая выглядит как нечто среднее между интерактивным фото, сделанным на старый iPhone, и чем-то почти импрессионистическим. Для более глубокого объяснения я бы рекомендовал этот пост в блоге Дилана Эберта (а для развлечения — заглянуть в сабреддит Gaussian Splatting).

В настоящее время этот метод редко используется в играх, так как он записывает только внешний вид пространства, а не его физические свойства. Сумыгин объясняет: «Gaussian Splatting дает вам фотореалистичное окружение бесплатно. Загвоздка в том, что сплат — это просто облако ориентированных капель — никаких треугольников, коллайдеров, навмеша, источников света. Поместите туда персонажа, и он будет парить сквозь стены, выглядя так, будто принадлежит другой вселенной».

Поэтому, используя свои собственные специализированные скрипты, Сумыгин сгенерировал коллизионную сетку, по сути создав 3D-геометрию на основе чисто визуального сканирования. Он также сгенерировал навмеш, чтобы его «виброкодированный» ИИ для вражеских NPC мог ориентироваться в игровом пространстве, хотя мне удалось заставить одного из врагов застрять в окружении, применив элитную геймерскую тактику «убегания».

Безусловно, это скорее интересная демонстрация концепции, чем что-то иное. Тем не менее, этот FPS-проект демонстрирует потенциал «фотографического» фотореализма, который может быть более доступен для команд и проектов, которые просто не могут позволить себе более дорогие и ресурсоемкие подходы. Мое стареющее железо также с нетерпением ждет расцвета Gaussian Splatting в разработке игр, особенно на фоне нынешних цен на GPU.