Французский стартап ZML выпустил бесплатное ПО для ускорения ИИ на любых чипах, бросая вызов Nvidia

Эпоха безраздельного доминирования Nvidia на рынке еще не закончилась, но со всех сторон появляются конкуренты и альтернативы.

Французский AI-стартап ZML, получивший поддержку лауреата премии Тьюринга Янна Лекуна, выпустил бесплатное программное обеспечение для оптимизации инференса (обработки запросов) на множестве различных чипов. Новый продукт, сервер инференса ZML/LLMD, позволяет запускать различные открытые большие языковые модели на оборудовании Nvidia, AMD, Google TPU, Apple Metal и Intel Arc.

Как рассказал TechCrunch основатель ZML Стив Морен, цель компании — разрушить существующие «изолированные» экосистемы и предоставить возможность использовать разные чипы для задач ИИ на максимально возможной скорости, а иногда и быстрее. По мере интеграции ИИ в работу и повседневную жизнь, оптимизация инференса становится важнее обучения моделей, но часто сталкивается с программными и архитектурными барьерами, ведущими к зависимости от одного поставщика.

Обещание достичь пиковой производительности на различных чипах — это не только технологический прорыв, но и потенциальный рыночный фактор, способный снизить опасения по поводу высоких затрат на ИИ. ZML надеется предоставить предприятиям и облачным провайдерам возможность использовать комбинацию чипов, некоторые из которых могут быть менее дорогими или более энергоэффективными. «Идея в том, чтобы вернуть людям возможность создавать собственные системы и добиваться реального повышения эффективности, что позволит распространять [ИИ]», — отметил Морен.

По словам Морена, такое программное обеспечение может помочь новым производителям AI-чипов, многие из которых находятся в Европе. Среди них он упомянул Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud и VSORA. Впрочем, для него важнее не их происхождение, а возможность совместной работы над «вещами, которые еще никто в мире не делал».

Это не значит, что Морен настроен против Nvidia. Он отметил, что у ZML хорошие отношения с гигантом AI-чипов, который активно готовится к росту рынка инференса. Инференс стал областью столь интенсивных инвестиций, что этот тренд уже называют «золотой лихорадкой инференса». У ZML есть конкуренты, такие как Baseten (недавно оцененный в $13 млрд), Inferact (от создателей open-source проекта vLLM) и RadixArk (коммерческая компания, стоящая за SGLang).

vLLM и SGLang частично конкурируют с LLMD, но амбиции Морена в отношении ZML охватывают более широкий спектр. «Мы дошли до того, что занимаемся совместным проектированием кремния», — заявил он. Морен также отметил, что небольшая команда ZML из 20 человек позволяет стартапу быстро двигаться, и в планах — новые релизы.

Этому способствует и хорошее финансирование. Благодаря своему опыту вице-президента по инженерии в Zenly (приобретенной Snapchat за девять цифр в 2017 году), Морен привлек $20 млн от венчурных фирм, включая 20VC Гарри Стеббингса, >commit, AALVC, Drysdale Ventures, Kima Ventures Ксавье Ниля, Kindred Capital, LocalGlobe и Puzzle Ventures.

В отличие от первого публичного проекта ZML — ориентированного на инференс ML-фреймворка, выпущенного в 2024 году и обновленного в марте, ZML/LLMD не является open-source. Однако он запускается как бесплатный продукт с целью изучения пользовательского опыта. «Я предпочитаю сначала измерить [использование], а затем [получать доход] там, где это наиболее эффективно, не мешая своему росту из-за собственной жадности на старте», — объяснил Морен.

Пока рано говорить о том, когда ZML/LLMD может стать платным продуктом и каким будет его внедрение. Однако в список инвесторов стартапа входят такие известные основатели, как Соломон Хайкс (основатель Dagger и Docker), Клеман Деланг и Жюльен Шомон из Hugging Face, а также Янн Лекун, ныне работающий в AMI Labs. Это также подтверждает, что европейские AI-стартапы теперь могут развиваться, не покидая родины. «Я не мог бы создать ZML нигде, кроме Парижа», — заключил Морен.