Разработчик создал работающую языковую модель ChatGPT в Minecraft из 439 миллионов блоков

Разработчик и энтузиаст Minecraft представил проект под названием CraftGPT на GitHub. В удивительном проявлении инженерного мастерства с использованием редстоуна в Minecraft, Саммюри — известный созданием 1-герцового процессора внутри игры — построил небольшую языковую модель, которая работает на компьютере внутри Minecraft и обучена на наборе данных TinyChat. Проект CraftGPT создан из блоков размером 1020 × 260 × 1656 в игре (всего 439 миллионов) и функционирует как заявлено, но главным недостатком является то, что вам придется «ждать пару часов, пока сгенерируется ответ».

В представленном выше видео показан колоссальный внутриигровой компьютер, построенный для запуска CraftGPT. Саммюри объясняет, что для съемки этого «пролета» над компьютерной сборкой потребовался мод Distant Horizons.

Естественно, даже с таким впечатляющим проектом на редстоуне, CraftGPT не заменит более традиционные методы запуска большой языковой модели на вашем ПК. Саммюри просит пользователей и тестеров не завышать ожидания.

«Модель очень склонна уходить от темы, выдавать ответы, которые грамматически неверны, или просто производить мусор»,

Так как же Саммюри использовал редстоун для создания этого проекта? Редстоун предоставляет электронные компоненты внутри среды Minecraft. Видео показывает, как внутриигровой механизм CraftGPT собирается компонент за компонентом. В нем есть токенизаторы, матричные умножители и так далее. Саммюри поясняет, что используемая небольшая языковая модель была создана без командных блоков или наборов данных в Minecraft. Более того,

«модель имеет 5 087 280 параметров, обучена на Python на наборе данных TinyChat, содержащем базовые диалоги на английском языке»,

Любители искусственного интеллекта также могут быть заинтересованы узнать, что CraftGPT с 5 миллионами параметров

«имеет размерность эмбеддинга 240, словарь из 1920 токенов и состоит из 6 слоев. Размер окна контекста составляет 64 токена, чего достаточно для (очень) коротких разговоров».

«Большинство весов были квантованы до 8 бит, хотя веса эмбеддинга и LayerNorm хранятся с точностью 18 и 24 бита соответственно».

(Изображение: Саммюри)

(Изображение: Саммюри)

Потребность в скорости

CraftGPT, по признанию, никоим образом не является конкурентом сайтам и приложениям с чат-ботами, которые вы можете использовать изо дня в день. Мы уже упоминали некоторые ограничения по качеству, глубине и даже точности чата. Но, вероятно, его самым большим недостатком является производительность.

Процессор или компьютер, созданный из редстоуна в Minecraft, может быть современным чудом, но он бледнеет по сравнению с реальным оборудованием. Таким образом, чат-опыт с CraftGPT сильно ограничен временем ответа. Как правило, системе потребуется около двух часов, чтобы ответить на простой запрос, говорит Саммюри. И это даже при увеличении скорости тиков примерно в 40 000 раз с помощью MCHPRS (высокопроизводительного сервера редстоуна для Minecraft).

Ранее поражавшие воображение достижения с редстоуном в Minecraft включали автономные 16-битные процессоры и компьютер IRIS, который был способен запускать версию DOOM (1993) в Minecraft.

Этот проект демонстрирует удивительные возможности редстоуна в Minecraft — от создания функциональных процессоров до запуска классических игр. В 2023 году другой разработчик создал в Minecraft 8-битный компьютер, способный запускать простые программы, а в 2024-м энтузиасты воссоздали внутри игры работающий калькулятор с использованием редстоуна. Подобные проекты продолжают расширять границы того, что считается возможным в виртуальных мирах.