Инструмент оптимизации ИИ SGLang стал стартапом RadixArk с оценкой в 400 млн долларов

В мире ИИ-инфраструктуры формируется тренд: популярные инструменты с открытым исходным кодом превращаются в стартапы, поддерживаемые венчурным капиталом, с оценкой в сотни миллионов долларов. Последний пример — RadixArk, коммерческая компания, стоящая за SGLang, всё более популярным инструментом, который помогает моделям ИИ работать быстрее и дешевле.

По данным двух осведомлённых источников, RadixArk недавно была оценена примерно в 400 млн долларов (около 32 млрд рублей) в раунде финансирования под руководством Accel. Это примечательная сумма для стартапа, объявленного только в августе прошлого года. TechCrunch не смог подтвердить размер финансирования.

Новость появилась на фоне того, что часть команды, ответственной за поддержку SGLang, перешла в недавно запущенный коммерческий стартап. SGLang используется такими компаниями, как xAI и Cursor, для ускорения обучения ИИ-моделей. RadixArk зародилась как проект SGLang в 2023 году в лаборатории Калифорнийского университета в Беркли под руководством сооснователя Databricks Йона Стойки.

Как сообщили источники, ранее стартап привлёк ангельские инвестиции от венчурных капиталистов, включая генерального директора Intel Лип-Бу Тана.

Как следует из объявления в LinkedIn, сделанного в прошлом месяце, Ин Шэн, ключевой разработчик SGLang и бывший инженер xAI, покинула ИИ-стартап Илона Маска, чтобы стать сооснователем и генеральным директором RadixArk. Ранее Шэн работала научным сотрудником в Databricks.

Представители RadixArk, Accel и Лип-Бу Тан не ответили на запрос о комментарии.

И SGLang, и RadixArk сосредоточены на оптимизации процесса инференса (вывода) — по сути, они позволяют моделям работать быстрее и эффективнее на том же оборудовании. Вместе с обучением моделей инференс составляет значительную часть серверных затрат, связанных с ИИ-сервисами. Следовательно, инструменты, оптимизирующие этот процесс, могут принести огромную экономию практически мгновенно.

RadixArk — не единственный проект, совершивший переход от открытой разработки к хорошо финансируемому стартапу. Более зрелый проект для оптимизации инференса vLLM также сделал этот шаг. Как сообщал Forbes в прошлом месяце, вновь созданная компания вела переговоры о привлечении более 160 млн долларов (около 12,8 млрд рублей) при оценке примерно в 1 млрд долларов.

Три осведомлённых источника сообщили TechCrunch, что Andreessen Horowitz возглавляет инвестиции в vLLM, хотя окончательные цифры сделки ещё не известны. Andreessen Horowitz отказался от комментариев. Сооснователь vLLM Саймон Мо охарактеризовал информацию о раунде как «фактически неточную» в заявлении для TechCrunch, но отказался уточнять, какие именно детали неверны.

Как и SGLang, vLLM был создан в лаборатории Йона Стойки в Калифорнийском университете в Беркли. Стойка, профессор этого университета, является знаменитым сооснователем Databricks, а также ряда других стартапов.

Как сообщила TechCrunch Бриттани Уокер, генеральный партнёр CRV, несколько крупных технологических компаний уже используют vLLM для своих рабочих нагрузок по инференсу, а SGLang также набрал значительную популярность за последние шесть месяцев. Её фирма не инвестировала ни в одну из компаний.

RadixArk продолжает развивать SGLang как движок ИИ-моделей с открытым исходным кодом. Стартап также создаёт Miles — специализированный фреймворк, предназначенный для обучения с подкреплением, который позволяет бизнесу обучать ИИ-модели, делая их со временем умнее.

Как сообщил TechCrunch человек, знакомый с компанией, хотя большинство её инструментов остаются бесплатными, RadixArk начала взимать плату за хостинг-услуги.

Стартапы, предоставляющие инфраструктуру для инференса разработчикам, в последние месяцы наблюдают всплеск финансирования, что подчёркивает сохраняющуюся важность этого уровня для ИИ. Как сообщила The Wall Street Journal во вторник, Baseten недавно привлекла 300 млн долларов при оценке в 5 млрд долларов. Этому предшествовал аналогичный шаг конкурента Fireworks AI, который привлёк 250 млн долларов (около 20 млрд рублей) при оценке в 4 млрд долларов в октябре прошлого года.