Ветеран Microsoft запустил ИИ на 47-летнем компьютере PDP-11 с 6 МГц и 64 КБ ОЗУ

Ветеран разработки Windows Дэйв Пламмер в своём гараже, забитом компьютерами, решил развенчать мистификацию вокруг ИИ, обнажив его «грязный маленький секрет». Суть эксперимента раскрывается в первой строке описания его видео: «Дэйв использует PDP-11 для обучения настоящей нейронной сети с трансформерами и механизмом внимания, чтобы вы могли увидеть их в самом базовом виде». Для демонстрации разработчик использует свою 47-летнюю систему PDP-11 с процессором на 6 МГц и всего 64 КБ оперативной памяти. На ней запускается трансформерная модель под названием 'Attention 11', написанная Дэмиеном Бюре на ассемблере PDP-11.

На первый взгляд, задача, которую PDP-11 должен «научиться» выполнять, элементарна — перевернуть последовательность из восьми цифр. Однако модель должна усвоить структурное правило, чтобы успешно справляться с любым вводом, и, по словам Дэйва, это отражает саму суть работы современных больших языковых моделей, таких как ChatGPT.

«Это пример того, как один человек берёт класс алгоритмов, который мир сейчас воспринимает как священный огонь, и доказывает, что по крайней мере их суть можно упростить, понять, реализовать и обучить на машине, которая достаточно стара, чтобы помнить времена, когда программное обеспечение поставлялось с тумблерами и переплетёнными в кольца руководствами», — говорит Дэйв. «...теперь вы знаете, что это за процесс на самом деле. Это не магия ИИ. Это машина, которая снова и снова обновляет силу тысяч маленьких взвешенных связей, чтобы следующий ответ был чуть менее ошибочным, чем предыдущий».

Несмотря на использование Attention 11 — однослойного трансформера с одной головой внимания, написанного целиком на ассемблере PDP-11, — Дэйву всё равно пришлось оптимизировать код под ограничения системы.

«Ограничения — не враг инженерии. Ограничения — это то, что заставляет творческую инженерию происходить».

Но может удивить, как мало «строительных лесов» требуется для проявления интеллекта. Например, используемая модель имеет всего 1216 параметров; в ней используется математика с фиксированной запятой, точность урезана до 8 бит для прямого прохода, и каждый цикл оптимизирован, чтобы машина могла завершить обучение до «тепловой смерти Вселенной».

Дэйв комментирует:

«Мы наблюдаем за упрощённой анатомией самого обучения. Модель начинается глупой. Потери высоки. Точность спотыкается, как человек, пытающийся собрать мебель IKEA в кузове движущегося фургона. А потом где-то на этом пути веса устанавливаются в определённую схему. И механизм внимания обнаруживает карту обращения. И машина пересекает эту невидимую черту от угадывания к знанию».

Результаты эксперимента по обучению ИИ на древнем 6-мегагерцовом компьютере оказались впечатляющими. Дэйву удалось добиться от модели 100% точности в задаче обращения цифр примерно после 350 шагов обучения. Достижение этого уровня обучения заняло около 3,5 минут на PDP-11/44, чему способствовала плата кэш-памяти. Вполне успешно, и Дэйв настаивает, что современный ИИ — это та же самая механическая, а не мистическая техника, только с колоссально увеличенными масштабами коррекции ошибок и арифметики.

«Эта старая машина не мыслит в каком-то мистическом смысле. Она просто перемалывает арифметику, чтобы обновить несколько тысяч тщательно хранимых чисел. И в этом вся суть игры. Глянец современного ИИ в основном происходит от того, что это делается в ошеломляющих масштабах. Но сам по себе акт обучения уже полностью представлен здесь, в миниатюре», — объяснил легендарный разработчик Windows.

В заключение Пламмер отмечает, что, поскольку нехватка вычислительных ресурсов становится ограничивающим фактором, любая компания, которая сможет перенять старую школу одержимости эффективностью и оптимизацией, может получить значительное преимущество.

Источник: Tomshardware.com