Заставить ИИ-агентов работать оказывается гораздо сложнее, чем ожидали многие компании. К счастью для них, помощь уже в пути: новая волна стартапов находит лучшие способы тестировать и обучать агентов перед их развертыванием, особенно с учетом сложностей современного предприятия.

Arga — одна из таких компаний. Стартап в среду объявил о привлечении 10 миллионов долларов (около 800 тысяч рублей) в рамках посевного раунда финансирования, который возглавила General Catalyst, при участии Box Group, Emergence, Gradient и SV Angel.

Arga создает обучающие среды для корпоративного программного обеспечения, такого как Salesforce, Workday и почтовые клиенты. В то время как большинство тестовых сред предлагают конечную точку API без состояния, Arga создает полноценный цифровой двойник программы, фактически клонируя все программное обеспечение с сохранением систем разрешений и веб-хуков. В результате получается более надежный способ обучать агентов работе с несколькими системами.

Генеральный директор и сооснователь стартапа Филип Ли проиллюстрировал свой продукт примером, когда потенциальный клиент создает лид в Salesforce, а коллега отдельно связывается через Hubspot.

«Может ли агент правильно определить, что это одна и та же компания? — говорит Ли. — Может ли он проверить, отправили ли они письмо только один раз? Может ли он определить, кому из двух возможностей отправить письмо?»

Агентные системы по-прежнему испытывают трудности с подобной неоднозначностью, и Ли считает инструменты Arga критически важными для их улучшения.

Обычно ИИ-агента можно обучить такой задаче с помощью обучения с подкреплением (RL): прогонять сценарий десятки тысяч раз и пропускать только успешные стратегии. Но природа корпоративного программного обеспечения делает такое масштабирование тестирования почти невозможным. Нет простого способа «сбросить» такую систему, как Salesforce или Outlook, когда нужно снова запустить тот же сценарий, не говоря уже о клонировании.

Решение Arga заключается в цифровом воссоздании этого программного обеспечения путем копирования его структуры, подобно тому, как манекен для краш-тестов должен заменять человека. Поскольку Arga полностью контролирует среду, полученную реконструкцию легко сбросить или изменить. Компания также может запускать множество сред одновременно, чтобы обучать агентов сложным взаимодействиям между различными программами. Идея состоит в том, чтобы воссоздать полную рабочую среду человека, где конкретные задачи пересекаются в разных программах и системах знаний.

Это можно рассматривать как способ устранить разрыв в обучении с подкреплением между программированием и другими приложениями. Отчасти причина, по которой инструменты ИИ для кодирования продвинулись так быстро, заключается в том, что у нас уже есть сложные инструменты для развертывания, отката и анализа нового кода. Эти инструменты значительно упрощают настройку сред RL для программирования, что позволяет тестировать и обучать ИИ-системы на все более сложных задачах кодирования.

Таких инструментов для большинства бизнес-приложений пока не существует. Но как только они появятся, ИИ-системы, вероятно, станут гораздо лучше использовать эти программы и произведут революцию в других отраслях так же, как они произвели революцию в программировании.

Управляющий директор General Catalyst Юрий Сагалов, который также руководит программой посевных инвестиций фирмы, говорит, что видит растущую потребность в агентных инструментах тестирования, подобных Arga.

«Я думаю, что большая часть экономической ценности агентов связана с использованием бизнес-приложений, — рассказал Сагалов TechCrunch. — Наличие повторяемой песочницы очень важно, и для агентов это гораздо важнее, чем было для людей».