iPhone 17 Pro запускает 400-миллиардную AI-модель локально, что требует свыше 200 ГБ ОЗУ

Последнее железо Apple демонстрирует довольно неожиданные возможности в области искусственного интеллекта, хотя и с очевидным недостатком. Показано, что iPhone 17 Pro запускает языковую модель с 400 миллиардами параметров локально, что для телефона звучит почти нереально.

Демонстрация является частью проекта с открытым исходным кодом Flash-MoE, которым поделился разработчик @anemll. Модели такого размера обычно требуют для загрузки более 200 ГБ памяти, поэтому запустить её на устройстве с 12 ГБ ОЗУ в обычном понимании практически невозможно.

Здесь происходит нечто иное. Вместо загрузки всей модели в память система подгружает необходимые фрагменты из хранилища по мере необходимости. Также используется архитектура «Смесь экспертов» (Mixture of Experts), где в любой момент времени активна лишь небольшая часть модели. Именно это сочетание и позволяет модели работать.

Проблема в скорости. А точнее, в её отсутствии. Модель генерирует примерно 0,6 токена в секунду, что означает ожидание в пару секунд для одного слова. Это настолько медленно, что даже простые запросы начинают проверять терпение. Ещё одной вероятной проблемой является высокий расход заряда батареи, что, впрочем, ожидаемо при такой нагрузке.

Тем не менее, это интересно. Не потому, что это можно использовать прямо сейчас, а потому, что это показывает, куда всё может двигаться. Запуск чего-то столь масштабного полностью на устройстве, без облака, ещё недавно даже не обсуждался.

На данный момент существует явный разрыв между тем, что возможно, и тем, что имеет практический смысл использовать. Меньшие модели по-прежнему остаются практичным выбором. Но подобные эксперименты дают намёк на то, с чем будущие телефоны смогут справляться гораздо комфортнее.

(Источник: @anemll в X)