AI Token Factory — новая единица вычислений в эпоху искусственного интеллекта

Сначала был процессор (CPU), затем появился графический процессор (GPU), а теперь параллельные вычисления выполняются на GPU — интегрированных или гипермасштабируемых. Современные большие языковые модели (LLM) адаптировались к параллельной обработке данных на GPU. Однако масштабы вычислений для ИИ настолько велики, что сегодня мы наблюдаем рождение новой единицы вычислений — «AI Token Factory» (фабрика AI-токенов). Это система или комбинация систем, работающих вместе с одной целью — максимальная пропускная способность генерации токенов в секунду.

Крупные ИИ-системы, такие как Colossus 1 от xAI с 100 000 GPU NVIDIA H100 или будущий Colossus 2 с более чем 550 000 GPU NVIDIA GB200/GB300, требуют огромных вычислительных ресурсов. Их главная задача — обучение и вывод (инференс) ИИ-моделей нового поколения. «Валютой» этих моделей являются токены, и именно их генерация определяет ключевые характеристики дата-центров. Сначала инференс выполнялся на CPU, затем на GPU, потом на системах вроде NVIDIA NVL72, а теперь новой единицей вычислений стала целая фабрика токенов, оптимизированная для максимальной эффективности их генерации.

Генеральный директор NVIDIA Дженсен Хуанг описывает AI Token Factory как «завод полного цикла», преобразующий электричество и сырые данные в полезный интеллект. Это специализированное предприятие, главная задача которого — генерировать огромные объемы токенов, которые могут превращаться в текст, изображения, музыку, научные исследования или даже молекулярные структуры. Хуанг неоднократно заявлял, что теперь у нас есть инструменты для «производства интеллекта», и в ближайшем будущем многие компании будут управлять AI-фабриками наряду с обычными производственными мощностями.

Поскольку AI-фабрика проектируется и оценивается с точки зрения пропускной способности токенов, логично рассматривать «токены в секунду» как новую практическую единицу вычислений, отражающую системную производительность, критически важную для ИИ-приложений. Таким образом, AI Token Factory — это совокупность систем, предназначенных для генерации токенов под любые конкретные цели.

Любая инфраструктура ускоренных вычислений, объединенная с ПО, преобразующим данные в интеллект, по сути, является AI-фабрикой. Ее ключевые компоненты включают ускоренные вычисления, сети и соединения, программное обеспечение, хранилища, системы, инструменты и сервисы. Когда пользователь отправляет запрос ИИ, вся система приходит в действие: запрос разбивается на токены (фрагменты изображений, звуков или слов), которые обрабатываются GPU-моделями с параллельными вычислениями, а система возвращает ответ в реальном времени. AI-фабрика непрерывно выполняет этот цикл для пользователей по всему миру, производя инференс в промышленных масштабах и фактически «изготавливая» интеллект.

Масштабы ИИ-систем продолжают расти. Если в эпоху архитектуры Hopper от NVIDIA использовались кластеры с десятками тысяч GPU, то в новой архитектуре Blackwell речь идет уже о миллионах GPU в одном кластере. Это касается как гиперскейлеров, так и частных ИИ-лабораторий, таких как xAI, OpenAI и Anthropic. Однако даже такие мощности могут не справиться с нагрузкой от агентного ИИ, который автоматически выполняет задачи без прямых запросов пользователей.

Ведущие ИИ-лаборатории, включая xAI, OpenAI, Anthropic и Meta, уже вводят ограничения на использование своих моделей. Например, функция DeepResearch в ChatGPT доступна всего 10 раз в месяц даже при подписке за $20 (~1600 рублей), а за $200 (~16000 рублей) в месяц — до 150 запросов. Причина — перегрузка AI Token Factory из-за фоновой работы агентного ИИ. Несмотря на огромные инвестиции, вычислительных мощностей все еще недостаточно. Только у ChatGPT почти 700 миллионов пользователей в неделю, а генеральный директор Google Сундар Пичаи недавно сообщил, что компания обрабатывает более 980 триллионов токенов в месяц через свои API — вдвое больше, чем в мае.

AI Token Factory уже генерируют триллионы токенов ежемесячно, и вскоре мы увидим переход на следующий порядок величины — квадриллионы токенов от одной лаборатории. С наступлением эры агентного ИИ эти фабрики вступают в фазу экспоненциального роста.

Источник: Techpowerup.com

* Meta, Facebook и Instagram запрещены в России.