Индийская AI-лаборатория Sarvam представила новое поколение открытых языковых моделей

Индийская AI-лаборатория Sarvam во вторник представила новое поколение больших языковых моделей (LLM), делая ставку на то, что более компактные и эффективные модели с открытым исходным кодом смогут отвоевать часть рынка у более дорогих систем от гораздо более крупных американских и китайских конкурентов.

Анонс, сделанный на саммите India AI Impact Summit в Нью-Дели, соответствует стремлению правительства Индии снизить зависимость от иностранных AI-платформ и адаптировать модели под местные языки и задачи.

Sarvam заявила, что новая линейка включает модели на 30 и 105 миллиардов параметров; модель для преобразования текста в речь; модель для распознавания речи; а также модель компьютерного зрения для анализа документов. Это серьёзный шаг вперёд по сравнению с моделью Sarvam 1 на 2 миллиарда параметров, выпущенной компанией в октябре 2024 года.

Модели на 30 и 105 миллиардов параметров используют архитектуру «смеси экспертов» (Mixture of Experts), которая активирует лишь часть от общего числа параметров за раз, что значительно снижает вычислительные затраты. Модель на 30 миллиардов параметров поддерживает контекстное окно в 32 000 токенов и ориентирована на использование в реальном времени для диалогов, в то время как более крупная модель предлагает окно в 128 000 токенов для более сложных, многошаговых задач.

Модель Sarvam 30B в сравнении с Google Gemma 27B и OpenAI GPT-OSS-20B среди других моделей.
Источник изображения: Sarvam

Sarvam сообщила, что новые AI-модели были обучены «с нуля», а не дообучены на основе существующих открытых систем. Модель на 30 миллиардов параметров была предварительно обучена примерно на 16 триллионах токенов текста, а модель на 105 миллиардов — на триллионах токенов, охватывающих несколько индийских языков.

Модели разработаны для поддержки приложений реального времени, включая голосовых ассистентов и чат-системы на индийских языках.

Модель Sarvam 105B позиционируется как конкурент OpenAI GPT-OSS-120B и Alibaba Qwen-3-Next-80B.
Источник изображения: Sarvam

Стартап заявил, что модели обучались с использованием вычислительных ресурсов, предоставленных в рамках государственной программы IndiaAI Mission, при инфраструктурной поддержке оператора дата-центров Yotta и технической поддержке Nvidia.

Руководители Sarvam заявили, что компания планирует взвешенно подходить к масштабированию своих моделей, фокусируясь на реальных приложениях, а не на «сыром» размере.

«Мы хотим быть осмотрительными в том, как мы проводим масштабирование, — сказал на презентации сооснователь Sarvam Пратьюш Кумар. — Мы не хотим делать это бездумно. Мы хотим понять задачи, которые действительно важны в масштабе, и создавать решения именно для них».

Sarvam сообщила о планах открыть исходный код моделей на 30 и 105 миллиардов параметров, хотя и не уточнила, будут ли также обнародованы обучающие данные или полный код обучения.

Компания также наметила планы по созданию специализированных AI-систем, включая модели для программирования и корпоративные инструменты в рамках продукта Sarvam for Work, а также платформу для диалоговых AI-агентов под названием Samvaad.

Основанная в 2023 году, Sarvam привлекла более 50 миллионов долларов (около 4 млрд рублей) финансирования. Среди её инвесторов — Lightspeed Venture Partners, Khosla Ventures и Peak XV Partners (бывшее Sequoia Capital India).

ИИ: Развитие открытых и эффективных моделей, ориентированных на локальные языки и задачи, — важный тренд, который может изменить глобальный ландшафт AI, снизив монополию крупнейших игроков. Подход Sarvam, сочетающий государственную поддержку, сотрудничество с технологическими гигантами и фокус на практическую пользу, выглядит многообещающе для будущего индийской технологической экосистемы.