Стартап General Compute привлек $15 млн на развертывание специализированных ИИ-чипов SambaNova

Спрос на компьютеры для запуска ИИ-моделей продолжает расти, но перед бизнесом стоят две основные проблемы: получение подходящих чипов и их установка в дата-центрах для генерации дохода.

Стартап General Compute, новая «инференс-неоклауд»-компания, сдающая в аренду вычислительные мощности ИИ, нашел ответы на эти вопросы. Компания привлекла $15 млн (около 1,2 млрд рублей) в рамках посевного раунда при оценке в $60 млн (около 4,8 млрд рублей) после получения инвестиций. Раунд возглавил FUSE VC при участии Carya Venture Partners и Village Global Ventures.

Какой чип является правильным? Спрос на GPU взлетел до небес, но становится общепризнанным, что они не являются наилучшими чипами для запуска уже обученных ИИ-моделей. Этап инференса (генерации ответов) предъявляет иные требования к вычислениям, и под него разрабатывается новый класс чипов. Сделка Nvidia по покупке Groq за $20 млрд (около 1,6 трлн рублей) в декабре и IPO Cerebras на $57 млрд (около 4,56 трлн рублей) на прошлой неделе указывают на этот путь.

Учитывая перегруженность мощностей обеих компаний, сооснователи General Compute, генеральный директор Финн Пукловски и технический директор Джейсон Гудисон, нашли другой вариант. Они делают ставку на специализированные чипы SambaNova, производителя чипов при поддержке Intel, который немного выпал из поля зрения Кремниевой долины.

Ситуация может измениться, когда SambaNova выпустит свои новые чипы в этом году. Архитектура более гибкая и использует больше памяти для хранения контекста при инференсе. SambaNova утверждает, что их чипы превосходят не только GPU, но и другие специализированные чипы от Groq или Cerebras. Пукловски заявляет, что новые чипы будут генерировать от 600 до 700 токенов в секунду, тогда как GPU выдают около 250 токенов в секунду.

General Compute разместила заказ на чипы SN50 на сумму $300 млн (около 24 млрд рублей) и утверждает, что станет первым «неоклаудом», развернувшим их. Эти чипы также решают вторую проблему: они имеют воздушное, а не водяное охлаждение и потребляют меньше энергии, поэтому их можно устанавливать в существующих дата-центрах без новых вложений в инфраструктуру.

Пукловски ведет переговоры о колокации (размещении оборудования на чужих площадках) не только с провайдерами дата-центров, но и с майнерами криптовалют, которые ищут способы перепрофилировать свою инфраструктуру, так как стоимость добычи биткоина часто превышает его цену.

General Compute запустила свое облачное предложение на прошлой неделе, заявив, что оно уже является самым быстрым для запуска MiniMax 2.7 — мощной открытой LLM.

Венчурный инвестор Джо Хассельман, который вошел в число первых инвесторов Groq в 2021 году, видит в партнерстве SambaNova и General Compute параллели с отношениями CoreWeave и Nvidia. «Им нужен здоровый баланс клиентов, которые будут размещать их чипы в средах с высоким потенциалом роста, — сказал Хассельман. — Насколько General Compute делает ставку на SambaNova, настолько же SambaNova делает ставку на General Compute».

Вопрос в том, какая компьютерная архитектура захватит наибольшую ценность в будущем ИИ. Инференс-облака — это неявная ставка на мир множества моделей и агентов, где ни один провайдер не доминирует, а скорость и стоимость инференса становятся ключевыми конкурентными переменными. Пукловски хочет превратить часовые задачи для кодинг-агентов в пяти- или десятиминутные, а также сделать аудиоагентов для обслуживания клиентов более экономичными.

«Если вы используете ChatGPT и он выдает вам 50 токенов в секунду, это все равно намного быстрее, чем мы можем читать, — сказал Пукловски TechCrunch. — Теперь, когда все перешло к взаимодействию агентов, которые читают от нашего имени или обращаются к базам данных, им нужно работать быстрее».