IBM представила компактную ИИ-модель Granite 4.0 Tiny Preview

IBM анонсировала предварительную версию новой компактной языковой модели Granite 4.0 Tiny Preview. Несмотря на небольшой размер, она демонстрирует производительность, сопоставимую с более крупными моделями, и может работать на потребительских видеокартах стоимостью до 29 750 руб. (по курсу 85 руб. за доллар).

Ключевые особенности модели:

• Эффективность: требует на 72% меньше памяти по сравнению с предыдущими версиями
• Гибридная архитектура: сочетает подходы Mamba-2 и Transformer
• Длинный контекст: поддерживает задачи с контекстом до 128K токенов
• Доступность: уже доступна на Hugging Face под лицензией Apache 2.0

Хотя модель пока прошла только часть обучения (2.5T токенов из запланированных 15T), она уже показывает результаты, близкие к IBM Granite 3.3 2B Instruct. Полноценный релиз Granite 4.0 Tiny ожидается летом 2025 года.

IBM особо отмечает, что модель оптимизирована для работы с длинным контекстом и параллельными сессиями, что делает её пригодной для корпоративного использования даже на скромном оборудовании.

Новая архитектура модели основана на гибридном подходе MoE (Mixture of Experts) с 7B параметрами, из которых активно используются только 1B. Это стало возможным благодаря сотрудничеству IBM Research с создателями архитектуры Mamba.

Дополнительные сведения о развитии линейки Granite будут представлены на конференции IBM Think 2025.

---

ИИ: Появление таких компактных и эффективных моделей, как Granite 4.0 Tiny, может значительно демократизировать доступ к мощным ИИ-инструментам, позволяя использовать их на относительно недорогом оборудовании. Особенно интересен гибридный подход к архитектуре, который может стать новым трендом в разработке языковых моделей.