Nvidia представила NitroGen — ИИ общего назначения, способный играть в любые видеоигры

Команда исследователей из Nvidia, Стэнфорда, Калифорнийского технологического института и других учреждений представила проект NitroGen. Как сообщил в пятницу в LinkedIn Джим Фан, директор по ИИ и ведущий учёный Nvidia, NitroGen представляет собой «модель-основу с открытым исходным кодом, обученную играть в 1000+ игр». Однако последствия этой разработки выходят далеко за пределы игровых миров, открывая значительные перспективы для симуляций и робототехники.

По сути, исследование представляет собой попытку создать «GPT для действий». Это прорыв в области больших языковых моделей (LLM), применяющий проверенные технологии масштабного обучения за пределами лингвистики и компьютерного зрения. Как отмечается во введении к научной работе, создание «универсальных воплощённых агентов, способных действовать в неизвестных средах, долгое время считалось святым Граалем исследований в области ИИ».

Интересно, что в основе NitroGen лежит архитектура GROOT N1.5, изначально созданная для робототехники. Её применение в игровом мире демонстрирует потенциал для обратной связи — полученные знания могут принести огромную пользу и роботам, работающим в разнообразных или непредсказуемых условиях.

Изображение: NitroGen research page

NitroGen был адаптирован для игр с совершенно разной механикой и физикой — в этом и заключается природа и удовольствие видеоигр. Исследователи использовали более 40 000 часов публичных видеозаписей геймплея, которыми поделились стримеры. Особенно полезными оказались видео, где геймеры накладывали на стрим данные о своих действиях на геймпаде в реальном времени.

В тестах NitroGen показал успехи в играх самых разных жанров: «RPG, платформеры, королевские битвы, гонки, 2D, 3D — да каких угодно!» — восторгается Фан. Хотя результаты обнадёживают, учёный из Nvidia отмечает, что это только начало, и впереди ещё долгий путь.

Эта первая версия NitroGen намеренно сосредоточена на быстром моторном контроле или «геймерской интуиции», как её называет Фан. Согласно исследованию, новая LLM также демонстрирует «высокую компетентность в различных областях», а модель работает как в процедурно сгенерированных мирах, так и в незнакомых играх, показывая «относительное улучшение на 52% в показателях успешности выполнения задач по сравнению с моделями, обученными с нуля».

Все наработки по NitroGen на данный момент имеют открытый исходный код, и энтузиасты в области игр, робототехники и LLM приглашаются к экспериментам. Предобученные веса модели, весь набор данных с действиями и код открыты для модификаций и изучения.

Источник: Tomshardware.com