IBM представила компактную ИИ-модель Granite 4.0 Tiny Preview
IBM анонсировала предварительную версию новой компактной языковой модели Granite 4.0 Tiny Preview. Несмотря на небольшой размер, она демонстрирует производительность, сопоставимую с более крупными моделями, и может работать на потребительских видеокартах стоимостью до 29 750 руб. (по курсу 85 руб. за доллар).
Ключевые особенности модели:
- Эффективность: требует на 72% меньше памяти по сравнению с предыдущими версиями
- Гибридная архитектура: сочетает подходы Mamba-2 и Transformer
- Длинный контекст: поддерживает задачи с контекстом до 128K токенов
- Доступность: уже доступна на Hugging Face под лицензией Apache 2.0
Хотя модель пока прошла только часть обучения (2.5T токенов из запланированных 15T), она уже показывает результаты, близкие к IBM Granite 3.3 2B Instruct. Полноценный релиз Granite 4.0 Tiny ожидается летом 2025 года.
IBM особо отмечает, что модель оптимизирована для работы с длинным контекстом и параллельными сессиями, что делает её пригодной для корпоративного использования даже на скромном оборудовании.
Новая архитектура модели основана на гибридном подходе MoE (Mixture of Experts) с 7B параметрами, из которых активно используются только 1B. Это стало возможным благодаря сотрудничеству IBM Research с создателями архитектуры Mamba.
Дополнительные сведения о развитии линейки Granite будут представлены на конференции IBM Think 2025.
ИИ: Появление таких компактных и эффективных моделей, как Granite 4.0 Tiny, может значительно демократизировать доступ к мощным ИИ-инструментам, позволяя использовать их на относительно недорогом оборудовании. Особенно интересен гибридный подход к архитектуре, который может стать новым трендом в разработке языковых моделей.
0 комментариев