Microsoft предлагает разработчикам новый способ управления поведением ИИ-агентов

По мере того как ИИ-агенты становятся всё более capable, предприятия, стремящиеся внедрить их в свои приложения, рабочие процессы и продукты, сталкиваются с новой задачей: обеспечить, чтобы агент делал то, что должен, при развёртывании в различных средах.

Microsoft пытается решить эту проблему с помощью нового стандарта с открытым исходным кодом под названием Agent Control Specification (ACS), который призван дать разработчикам более последовательный и детальный способ контроля над тем, что разрешено делать ИИ-агентам.

По сути, спецификация позволяет командам разработчиков, комплаенса и безопасности определять собственные политики, которым должны следовать агенты. Правила могут определять, что агенту разрешено делать, что ему запрещено, когда требуется одобрение человека и какие данные должны быть залогированы для последующей проверки. Эти файлы политик проверяются в нескольких «точках перехвата», когда агент выполняет задачу, чтобы убедиться, что он не выходит за установленные рамки.

Спецификация появляется в то время, как разработчики импровизируют со способами контроля того, что видит и делает их ИИ, особенно на фоне обсуждений сбоев в работе ИИ-воркфлоу из-за неправильного использования инструментов или непреднамеренных действий, приводящих к каскадным сбоям.

Сегодня разработчики могут указывать инструкции в системном промпте, добавлять пользовательские проверки в код приложения или использовать классификаторы для выявления проблемных входных и выходных данных. Эти подходы работают, но часто оставляют компании с разрозненными средствами контроля, которые трудно аудировать и ещё сложнее повторно использовать в разных фреймворках, интерфейсах и системах.

Image Credits: Microsoft

ACS призван объединить эти средства контроля в общий слой управления. Microsoft заявляет, что спецификация может использоваться для проверки того, придерживается ли агент установленных ограничений в нескольких точках своего рабочего процесса — до получения входных данных, до вызова инструмента, после того, как инструмент вернул результат, и перед отправкой окончательного ответа пользователю. Политика может разрешить действие, заблокировать его, отредактировать конфиденциальную информацию или даже запросить одобрение у человека.

Разработчики также могут вставлять классификаторы для входных и выходных данных, чтобы категоризировать информацию, прогнозировать результаты или определять, как агент должен реагировать; добавлять LLM с промптами, выступающими в роли «судьи» для политик; а также логику для проверки вызовов инструментов, выбора инструментов, точности входных данных, использования выходных данных и ответов.

И поскольку эти политики могут быть записаны в виде отдельных файлов, их можно связывать с агентами, что позволяет политике безопасности следовать за агентом в разных фреймворках и средах.

ACS поставляется в виде SDK с плагинами для LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI, MCP-инструментов и других.