OpenAI представила свой первый кастомный чип, созданный совместно с Broadcom

В среду компания OpenAI представила свой первый процессор для инференса, разработанный и изготовленный совместно с Broadcom. Новый процессор, получивший название Jalapeño, был спроектирован специально для уникальных потребностей систем инференса OpenAI. Компания сообщила, что в разработке чипа участвовали собственные ИИ-модели OpenAI.

Хотя чип всё ещё проходит тестирование, OpenAI заявляет, что первые результаты демонстрируют значительно лучшую производительность на ватт по сравнению с текущими передовыми альтернативами.

О партнёрстве было официально объявлено в октябре, но планы OpenAI по созданию собственного чипа давно ходили слухи как способ уменьшить зависимость компании от GPU Nvidia. Google и Amazon также создали собственные чипы для аналогичных целей, часто называемые «ИИ-ускорителями» — кремний, специально предназначенный для ускорения задач машинного обучения.

Президент OpenAI Грег Брокман объяснил подход компании к разработке чипов в собственном подкасте вскоре после объявления о партнёрстве с Broadcom.

«Мы глубоко понимаем рабочую нагрузку, — сказал Брокман в эпизоде. — Мы действительно искали конкретные рабочие нагрузки, которые недостаточно обеспечены, [и спрашивали] как мы можем создать что-то, что позволит ускорить то, что возможно?»

Jalapeño специально спроектирован для инференса — процесса выполнения предварительно обученных ИИ-моделей в ответ на команды пользователей. В анонсе OpenAI подчеркнула низкую стоимость эксплуатации чипа при работе с моделями кодирования в реальном времени. Вероятно, что более ресурсоёмкие задачи, такие как предварительное обучение, по-прежнему будут полагаться на оборудование Nvidia, но даже небольшое снижение затрат на инференс может значительно улучшить финансовые показатели компании.

Оптимизация этой системы инференса может оказаться решающим фактором в экономике ИИ в будущем — и, вероятно, будет происходить на всех уровнях стека. OpenAI уже создаёт агентные продукты, такие как Codex, и модели, которые их поддерживают, а также дата-центры для работы этих моделей. Переход к специализированным чипам позволяет компании продвинуться ещё дальше в этом процессе, как объяснила компания в своём анонсе.

«OpenAI не только разрабатывает передовые модели или создаёт продукты на их основе; она проектирует инфраструктуру под ними: архитектуру чипов, ядра, системы памяти, сети, планировщики, системы развёртывания и пользовательский опыт», — написала компания. «Поскольку OpenAI работает на всех уровнях стека, каждый уровень может быть оптимизирован для достижения одной цели: сделать модели быстрее, надёжнее и доступнее для пользователей».