OpenAI представила Decisions API — аналог модели Jev от TypeSafe AI

На мероприятии Dev Day во вторник компания OpenAI представила новый «Decisions API». Об этом вскользь упомянул генеральный директор Сэм Альтман. API, судя по всему, предлагает функциональность, схожую с моделью Jev от TypeSafe AI, выпущенной ранее в этом месяце и предназначенной для автоматизации программного обеспечения.

Jev — это своего рода сверхмощный классификатор на базе большой языковой модели. Разработчики могут передать ему набор вариантов, и он выдаёт вероятности быстро и дёшево. Decisions API от OpenAI, похоже, является аналогичным продуктом. На мероприятии Альтман описал API как способ дать модели Luna предопределённый набор опций для выбора — например, категории для классификации изображения или различные варианты поведения агента.

«Сфокусировав модель на этом выборе, мы можем сделать её чрезвычайно быстрой, сохранив такие возможности, как понимание изображений, широкая языковая поддержка и средства защиты», — заявил Альтман.

TypeSafe не ответила на вопросы TechCrunch о новом продукте, но генеральный директор Диогу Алмейда, бывший инженер OpenAI, соучредитель направления обучения с подкреплением, пошутил в X о начале «войны клонов». Он добавил, что интерес OpenAI может быть «знаком того, что создание в совместимом с System One ключе — это будущее». («System One» — термин TypeSafe для быстрого, интуитивного мышления, в противовес «System 2», которое применяется к осознанным рассуждениям.)

Подтекст здесь таков: большие языковые модели в их нынешнем виде не являются подходящим решением для многих задач, поскольку они сравнительно медленны и дороги. Разработчики использовали Jev для дополнения LLM и обнаружили, что так быстрее и дешевле.

Пока неясно, насколько Decisions API будет похож на Jev, поскольку OpenAI выпустила его в ограниченном предварительном доступе, и TechCrunch пока не заметила разработчиков, тестирующих его в полную силу. Однако, судя по разговорам в X, интерес явно есть.

Decisions API — не единственный Jev-подобный API в интернете: другие стартапы выпускают аналогичные модели, и OpenAI не станет последним технологическим гигантом, создавшим такой продукт. Ключевой вопрос — насколько хорошо выходные данные каждой из этих моделей принятия решений будут откалиброваны относительно реальной жизни.

Алмейда утверждает, что защитное преимущество его компании — это синтетические данные, которые она создаёт для получения статистически полезных результатов.

«Быстро и дёшево — это очень легко, знаете ли, — сказал Алмейда TechCrunch на прошлой неделе. — Если хотите действительно быстро и дёшево, используйте игральные кости, верно? Интеллект — вот сложная часть, и моя путеводная звезда — всегда продвигать кривую Парето интеллекта на доллар».

Спустя всего несколько недель становится ясно, что у этих моделей есть будущее, и одно из вероятных применений — мониторинг и защита ИИ-агентов. Одна из новых мер безопасности OpenAI после серии инцидентов, когда её агенты вели себя неподобающе в открытом интернете, заключается в использовании отдельной модели для отслеживания нежелательных действий при «значительных вычислительных затратах».

Шапор Нагибзаде, давний специалист по кибербезопасности, возглавляющий стартап QueryStory, считает, что модель вроде Jev могла бы сделать это гораздо дешевле.

Он создал демо для хакатона, прошедшего в минувшие выходные, которое использует Jev для проверки каждого действия агента на соответствие поставленной задаче: блокирует действия с высокой уверенностью в их нежелательности, помечает остальные для проверки и разрешает все прочие.

Теоретически такой мониторинг мог бы предотвратить инцидент с Hugging Face — и мониторинг такого рода стоит $2,94 (~235 руб.) с Jev против $372 (~29800 руб.) с передовой LLM.

Ключевое наблюдение: Jev достаточно дёшев, чтобы запускать его на каждое действие агента, что обеспечивает уровень проверки, способный повысить надёжность агентов в целом. Именно этого добивалась TypeSafe — и теперь OpenAI тоже увидела ценность.

Цены сконвертированы автоматически, реальные цены могут отличаться.