PrismML представила модель Bonsai 2 27B, которая помещается на смартфон

Стартап PrismML, основанный группой исследователей из Калифорнийского технологического института (Caltech), представил новую модель Bonsai 2 27B, способную поместиться на обычном ПК и даже на флагманском смартфоне. Компания утверждает, что её технология сжатия позволяет сохранить почти всю производительность оригинальной модели.

Bonsai 2 27B сжимает открытую модель Qwen3.8 27B от Alibaba с 27 млрд параметров до всего 5,9 ГБ — это в 9–10 раз меньше памяти, чем требуется оригиналу. При этом, по словам PrismML, модель сохраняет 98% агрегированных показателей Qwen в бенчмарках. Предыдущая версия Bonsai, выпущенная в марте, показывала 95%, а её уже скачали более 11 млн раз. Ещё более компактные модели компании скачали дополнительно 2,6 млн раз.

Возглавляет стартап Бабак Хассиби, профессор Caltech и эксперт в области технологий сжатия. Среди инвесторов — Khosla Ventures, Cerberus Capital и сам Caltech. В число советников входит Ион Стойка, соучредитель Databricks и директор лаборатории Sky Computing Lab в Беркли. Ранее сообщалось, что PrismML ведёт переговоры с Apple, хотя Хассиби отказался это комментировать.

Секрет технологии — в так называемых «тернарных» весах. Обычно каждый вес модели требует 16 бит, а подход PrismML сводит их к трём значениям: +1, −1 или 0. Это радикально уменьшает размер модели. По словам Хассиби, сжатие всё равно будет немного влиять на производительность, но 2% потери в бенчмарках вряд ли заметно скажутся на реальных задачах.

Следующая цель стартапа — применить метод к моделям на сотни миллиардов параметров. Хассиби считает, что чем крупнее модель, тем легче сохранить её «интеллект» при сжатии. Стойка отмечает, что такие технологии позволят запускать продвинутые ИИ прямо на устройствах пользователей — бесплатно и без отправки данных в облако.

PrismML — не единственная компания в этой сфере: аналогичными разработками занимается Multiverse Computing, привлёкшая значительно больше инвестиций. Однако PrismML делает ставку на минимальные потери качества при сжатии.