Модель языка ИИ работает на системе Windows 98 с Pentium II и 128 МБ ОЗУ

Вышеуказанный подвиг, открывающий глаза, еще далек от завершения игры для EXO Labs. Эта несколько таинственная организация вышла из подполья в сентябре с миссией «демократизировать доступ к ИИ». Организацию сформировала группа исследователей и инженеров из Оксфордского университета. Вкратце, EXO считает, что контроль ИИ горсткой мегакорпораций — это очень плохо для культуры, истины и других фундаментальных аспектов нашего общества. Таким образом, EXO надеется «построить открытую инфраструктуру для обучения пограничных моделей и позволить любому человеку запускать их где угодно». Таким образом, обычные люди могут надеяться обучать и запускать модели ИИ практически на любом устройстве — и этот безумный подвиг ИИ для Windows 98 является тотемной демонстрацией того, что можно сделать с (крайне) ограниченными ресурсами.

Поскольку видео в Твиттере довольно короткое, мы были благодарны за то, что нашли запись в блоге EXO о Running Llama на Windows 98. Эта запись опубликована как 4-й день серии «12 дней EXO» (так что следите за обновлениями).

Изображение: Алекс Чима на GitHub

Как и ожидалось читателям, для EXO было тривиально купить старый ПК с Windows 98 на eBay в качестве основы для этого проекта, но пришлось преодолеть множество препятствий. EXO объясняет, что загрузка данных на старый Pentium II марки Elonex была сложной задачей, заставившей их прибегнуть к использованию «старого доброго FTP» для передачи файлов через порт Ethernet древней машины.

Компиляция современного кода для Windows 98, вероятно, была более сложной задачей. EXO был рад найти llama2.c Андрея Карпати, который можно кратко описать как «700 строк чистого C, которые могут выполнять вывод на моделях с архитектурой Llama 2». С этим ресурсом и старой IDE Borland C++ 5.02 и компилятором (плюс несколько небольших настроек) код можно было превратить в исполняемый файл, совместимый с Windows 98, и запустить его. Вот ссылка на GitHub на готовый код.

Один из замечательных людей, стоящих за EXO, Алекс Чима, поблагодарил Андрея Карпати за его код, восхищаясь его производительностью, обеспечивающей "35,9 ток/сек на Windows 98" с использованием 260K LLM с архитектурой Llama. Вероятно, стоит подчеркнуть, что Карпати ранее был директором по ИИ в Tesla и входил в команду основателей OpenAI.

Конечно, 260K LLM — это немного, но это работало на приличной скорости на древнем одноядерном ПК с частотой 350 МГц. Согласно блогу EXO, переход на 15M LLM привел к скорости генерации чуть более 1 ток/сек. Однако Llama 3.2 1B была ледяной медленной — 0,0093 ток/сек.

BitNet — это более масштабный план

К настоящему моменту вы уже наверняка понимаете, что эта история не просто о том, как заставить LLM работать на компьютере с Windows 98. EXO завершает свой пост в блоге, говоря о будущем, которое, как они надеются, станет более демократичным благодаря BitNet.

«BitNet — это архитектура трансформатора, которая использует троичные веса», — поясняет он. Важно, что при использовании этой архитектуры модель параметров 7B требует всего 1,38 ГБ памяти. Это все еще может заставить скрипеть 26-летний Pentium II, но это легковесно для современного оборудования или даже для устройств десятилетней давности.

EXO также подчеркивает, что BitNet является CPU-first, отклоняясь от дорогостоящих требований GPU. Более того, этот тип модели, как утверждается, на 50% эффективнее моделей полной точности и может использовать модель параметров 100B на одном CPU со скоростью чтения человеком (около 5-7 токов/сек).

Прежде чем мы уйдем, обратите внимание, что EXO все еще ищет помощь. Если вы также хотите избежать будущего ИИ, запертого в огромных центрах обработки данных, принадлежащих миллиардерам и мегакорпорациям, и считаете, что можете внести свой вклад, вы можете обратиться к нам.

Для более неформального общения с EXO Labs они ведут канал Discord Retro, где обсуждают запуск LLM на старом оборудовании, например, старых Mac, Gameboy, Raspberry Pi и т. д.

Источник: Tomshardware.com