Clarifai представила движок для ИИ, который ускоряет модели и снижает затраты

В четверг, 25 сентября, платформа искусственного интеллекта Clarifai анонсировала новый «движок рассуждений» (reasoning engine). По заявлениям компании, эта система позволяет запускать ИИ-модели в два раза быстрее и на 40% дешевле. Разработанная для адаптации к различным моделям и облачным хостингам, система использует ряд оптимизаций для получения большей вычислительной мощности на том же оборудовании.

«Это целый набор различных типов оптимизаций, начиная от низкоуровневых CUDA-ядер и заканчивая продвинутыми техниками спекулятивного декодирования», — сказал генеральный директор компании Мэттью Зейлер. — «По сути, вы можете получить больше отдачи от тех же видеокарт».

Результаты были подтверждены серией бенчмарков, проведенных сторонней фирмой Artificial Analysis, которая зафиксировала рекордные в отрасли показатели как по пропускной способности, так и по задержкам.

Процесс ориентирован конкретно на инференс — вычислительные нагрузки, возникающие при эксплуатации уже обученной ИИ-модели. Эти нагрузки стали особенно интенсивными с появлением агентских и рассуждающих моделей, которые требуют выполнения нескольких шагов в ответ на одну команду.

Изначально запущенная как сервис компьютерного зрения, Clarifai все больше фокусируется на оркестровке вычислений, поскольку бум ИИ резко увеличил спрос как на GPU, так и на дата-центры. Компания впервые анонсировала свою вычислительную платформу на AWS re:Invent в декабре прошлого года, но новый движок рассуждений стал первым продуктом, специально созданным для многошаговых агентских моделей.

Выход продукта происходит на фоне сильного давления на ИИ-инфраструктуру, что спровоцировало череду многомиллиардных сделок. OpenAI изложила планы по инвестированию до $1 трлн (около 80 трлн рублей) в новые дата-центры, прогнозируя практически безграничный будущий спрос на вычисления. Но хотя наращивание аппаратных мощностей идет полным ходом, генеральный директор Clarifai считает, что можно сделать больше для оптимизации уже существующей инфраструктуры.

«Существуют программные уловки, которые позволяют выжать из хорошей модели еще больше, как, например, движок рассуждений от Clarifai, — говорит Зейлер. — Но есть и улучшения алгоритмов, которые могут помочь бороться с необходимостью строительства гигаваттных дата-центров. И я не думаю, что мы достигли предела в инновациях алгоритмов».

ИИ. В условиях, когда крупные игроки вроде OpenAI делают ставку на экстенсивный рост вычислительных мощностей, подход Clarifai к «софтверной» оптимизации выглядит прагматичной и своевременной альтернативой. Повышение эффективности существующего «железа» может стать ключевым фактором для демократизации доступа к передовым ИИ-моделям.