Разработчик нашел способ обойти ограничения Apple и обучать ИИ локально на MacBook

Для Apple Silicon произошел довольно захватывающий прорыв. Разработчик нашел способ обойти ограничения Neural Engine (ANE) в чипе M4, чтобы обеспечить обучение моделей ИИ непосредственно на устройстве — функция, которую Apple до сих пор держала заблокированной.

Обычно Neural Engine в чипах M4 в основном используется для эффективного запуска (инференса) предварительно обученных моделей. Однако исследователь безопасности и разработчик под ником @0x0SojalSec объявил в X, что успешно провел реверс-инжиниринг этих ограничений. Ему удалось разблокировать до 15,8 TFLOPS вычислительной мощности для полноценных задач обучения, включая обратное распространение ошибки на трансформерных моделях.

Вместо того чтобы полагаться на стандартные фреймворки Apple Core ML или Metal, команда создала собственный промежуточный язык моделей (MIL) для прямого взаимодействия с Neural Engine. Все данные хранятся в оперативной памяти, чтобы избежать медленных операций записи на накопитель, что делает процесс на удивление быстрым и стабильным. Они также нашли обходной путь с использованием команды exec() для перезапуска процесса, если обучение застревает, что позволяет сохранять контрольные точки и продолжать работу.

Разработчик поделился проектом на GitHub, продемонстрировав, что обучать нейросети непосредственно на аппаратном обеспечении ANE можно с минимальными дополнительными зависимостями. Ранние тесты показывают впечатляющие результаты, например, выполнение шагов обучения трансформера за миллисекунды на чипах M4.

Apple официально не включала и не поддерживала обучение на Neural Engine (компания заявляет, что он обеспечивает до 38 TOPS только для инференса). Эти усилия по реверс-инжинирингу показывают, что в этих чипах скрыто гораздо больше потенциала, чем многие думали.

Это важная новость для сообщества ИИ, поскольку она может превратить обычные Mac и iPad в гораздо более мощные локальные машины для обучения небольших моделей, снижая необходимость полагаться на облачные сервисы. Это также вызывает интересные дискуссии о жестко контролируемом подходе Apple к взаимодействию аппаратного и программного обеспечения.

Будет интересно посмотреть, что еще обнаружит сообщество, когда больше людей начнут экспериментировать с этой технологией. Пока что это многообещающий шаг к более мощным экспериментам с ИИ на устройствах в экосистеме Apple.

(Источник: @0x0SojalSec в X)