Google готовит к выходу открытую модель Gemma 4 с 120 млрд параметров

В мире открытых больших языковых моделей (LLM) в последнее время доминируют китайские технологические компании, в то время как американские гиганты, такие как Google и OpenAI, сосредоточились на коммерческих закрытых решениях. Однако, чтобы не уступать рынок полностью, Google готовится выпустить новую версию своей открытой модели — Gemma 4.

Слухи о скором анонсе ходили уже некоторое время, а теперь намек сделал и сам Демис Хассабис, сооснователь и CEO подразделения Google DeepMind. В своём твите он опубликовал четыре символа бриллианта. Поскольку название модели Gemma происходит от латинского слова «gemma» (драгоценный камень), намёк был воспринят сообществом как прямое указание на предстоящий релиз.

Текущая версия, Gemma 3, была представлена в марте прошлого года и основана на архитектуре Gemini 2.0. За прошедший год Google успел выпустить как коммерческую модель Gemini 3.0, так и её обновлённую версию Gemini 3.1, поэтому выход новой открытой модели не помешает монетизации флагманских продуктов компании.

Наибольший интерес вызывает масштаб новой модели. Gemma 3 была относительно «лёгкой»: её максимальный размер составлял 27 миллиардов параметров, что позволяло запускать её даже на одной видеокарте. Gemma 4, согласно утечкам, получит не только обновлённые версии малых моделей, но и новую крупную модель с 120 миллиардами параметров — это в четыре раза больше, чем у предыдущего поколения.

Важно отметить, что для снижения вычислительных затрат при использовании эта модель, вероятно, будет построена на архитектуре Mixture of Experts (MoE) с примерно 15 миллиардами активных параметров. Это позволит эффективно запускать её на локальном оборудовании без постоянного подключения к интернету.

Способности новой модели пока остаются предметом спекуляций. Запрос к самой Gemini от Google на тему прогнозирования возможностей Gemma 4 дал оптимистичный ответ, включающий улучшенные способности к логическим рассуждениям и увеличенный в 1-2 раза контекст. Однако эксперты предупреждают, что для американских корпораций открытые модели не являются приоритетом. Их задача — не создавать прямых конкурентов своим коммерческим продуктам. Поэтому, несмотря на большой размер, локально запускаемая Gemma 4 вряд ли сможет напрямую конкурировать по качеству с топовыми закрытыми моделями или даже с некоторыми продвинутыми открытыми решениями из Китая при равном количестве параметров.

Выход Gemma 4 может оживить сообщество разработчиков, которым нужна мощная, но доступная для локального развёртывания модель. Это также является ответом Google на растущее влияние таких проектов, как Qwen (千问) от Alibaba и других открытых LLM из Азии. Ожидается, что подробности о модели будут объявлены в ближайшие недели.