Пользователь запускает модель искусственного интеллекта на Xbox 360

Хотя система искусственного интеллекта, используемая в Xbox 360, основана на той же, что и в ПК EXO Lab с Windows 98 Pentium II, Дэвид сказал, что ему пришлось оптимизировать код для архитектуры PowerPC консоли и уникальных (на тот момент) функций управления памятью. Самое существенное отличие заключается в том, что PowerPC - это компания, использующая систему с большим числом последовательностей, которая в первую очередь сохраняет наиболее значимые значения.

В то же время процессор Intel Pentium II, используемый для внедрения EXO Lab, использует систему с малым числом последовательностей, что позволяет в первую очередь сохранять наименьшее значение. Поэтому, чтобы гарантировать правильную работу модели, ему пришлось внедрить систему обмена байтами и обеспечить, чтобы все создаваемые и сохраняемые данные были должным образом выровнены по 128 байтам в памяти, как того требует подсистема памяти Xbox 360.

Еще одной проблемой, с которой столкнулся Дэвид, было использование консолью единой памяти. Хотя сегодня это обычное явление для современных консолей и APU, с появлением Xbox 360 это стало новым рубежом, заставившим разработчиков игр обеспечить наилучшее использование аппаратного обеспечения консоли. Таким образом, несмотря на то, что у него было 512 МБ оперативной памяти, Андрей должен был убедиться, что модель объемом 60 МБ будет соответствовать объему пространства, который система выделит для центрального или графического процессора, поскольку они используют один и тот же пул оперативной памяти.

Однако, благодаря тщательному управлению памятью и настройке работы PowerPC, он заставил древнюю консоль Xbox 360 работать с LLM. Это еще один шаг к достижению цели EXO Lab - предоставить доступ к ИИ обычному человеку, не ограничивая его возможностями мегакорпораций, которые тратят миллиарды долларов на современное оборудование и потребляют мегаватты электроэнергии.

Запуск модели искусственного интеллекта на базе Llama 2 на устройстве десятилетней давности уже является фантастическим достижением, но один пользователь отметил, что 512 МБ унифицированной оперативной памяти должно быть более чем достаточно для запуска SmolLM от Hugging Face или 4-разрядной модели Qwen2.5 объемом 0,5 Бита. Андрей Дэвид ответил: "Вызов принят!:)", поэтому мы с нетерпением ждем возможности увидеть более мощные модели искусственного интеллекта, работающие на Xbox 360 в будущем.

Источник: Tomshardware.com