Agent Governance Toolkit: open-source безопасность AI-агентов во время выполнения и управление агентными системами

AI-агенты резко повзрослели. Ещё вчера они вежливо отвечали в чате, а сегодня уже бронируют перелёты, совершают операции, пишут код и трогают инфраструктуру — местами даже слишком уверенно. И вот тут начинается самое интересное: если агент умеет действовать сам, кто вообще держит руку на рубильнике?

Именно на этот вопрос Microsoft отвечает запуском Agent Governance Toolkit — open-source набора инструментов для runtime-безопасности и управления автономными AI-агентами. Проект распространяется по лицензии MIT и, по сути, закрывает болезненный пробел между быстрым созданием агентов и их реальной эксплуатацией в продакшене.

Контекст, мягко говоря, не академический. В декабре 2025 года OWASP выпустила Top 10 for Agentic Applications for 2026 — первую формализованную карту рисков для агентных приложений: перехват целей, злоупотребление инструментами, отравление памяти, каскадные отказы, компрометация идентичности и не только. Параллельно поджимает регулирование: требования EU AI Act для систем высокого риска вступают в силу в августе 2026 года, а Colorado AI Act — с июня 2026-го. А вот зрелая безопасность AI-агентов и практическое управление их поведением у многих команд пока, скажем честно, на уровне «потом разберёмся».

Зачем вообще понадобился этот проект

В Microsoft посмотрели на современные агентные системы и увидели до боли знакомую картину: несколько частично доверенных компонентов делят ресурсы, принимают решения, вызывают внешние инструменты и делают это с ограниченным человеческим контролем. Звучит знакомо? Потому что это уже было — в операционных системах, в service mesh, в SRE-практиках для распределённых платформ.

Отсюда и идея: не изобретать магию заново, а перенести в мир агентного ИИ то, что давно работает в классической инженерии. Ядра, уровни привилегий, изоляция процессов, mTLS, identity, SLO, circuit breaker — весь этот «скучный», но очень полезный багаж внезапно оказался идеально уместен там, где нужна архитектура AI-агентов с реальными ограничениями, а не слайдовая красота.

Короче говоря, Agent Governance Toolkit — это попытка дать агентам не только мозги, но и тормоза. И, желательно, рабочие.

Что входит в Agent Governance Toolkit

Проект состоит из семи пакетов и доступен для Python, TypeScript, Rust, Go и .NET. Каждый модуль закрывает отдельный класс задач — от политик исполнения до соответствия требованиям.

1. Agent OS — stateless policy engine, который перехватывает каждое действие агента до выполнения. Заявленная задержка — менее 0,1 мс на p99. Поддерживаются политики на YAML rules, OPA Rego и Cedar. По сути, это «ядро» для контроля поведения агента во время выполнения.
2. Agent Mesh — слой доверия и идентичности: decentralized identifiers (DID) на Ed25519, Inter-Agent Trust Protocol (IATP) для защищённого взаимодействия между агентами и динамический trust scoring по шкале от 0 до 1000.
3. Agent Runtime — execution rings по аналогии с уровнями привилегий CPU, saga orchestration для многошаговых операций и kill switch для аварийной остановки агента.
4. Agent SRE — SLO, error budget, circuit breaker, chaos engineering и progressive delivery, адаптированные под агентные системы.
5. Agent Compliance — автоматизированная проверка governance, оценка соответствия и маппинг на EU AI Act, HIPAA, SOC 2 и OWASP Agentic AI Top 10. Для компаний, которым нужен AI compliance и соответствие требованиям, это особенно важный слой.
6. Agent Marketplace — управление жизненным циклом плагинов: подписи Ed25519, верификация, разграничение возможностей по уровню доверия и защита цепочки поставок.
7. Agent Lightning — governance для обучения с подкреплением: раннеры, которые принудительно соблюдают политики, и reward shaping, чтобы во время RL-обучения не происходили нарушения правил.

Ставка на экосистему, а не на замену всего подряд

Одна из сильных сторон проекта в том, что он не пытается вытеснить существующие фреймворки для разработки AI-агентов и автоматизации. Наоборот: toolkit изначально сделан framework-agnostic и встраивается в нативные точки расширения популярных стеков.

Поддерживаются интеграции через callback handlers в LangChain, task decorators в CrewAI, plugin system в Google ADK, middleware pipeline в Microsoft Agent Framework. Уже есть рабочие связки с Dify, LlamaIndex, OpenAI Agents SDK, Haystack, LangGraph и PydanticAI. Для TypeScript доступен пакет npm (@microsoft/agentmesh-sdk), для .NET — пакет NuGet (Microsoft.AgentGovernance).

Это, пожалуй, и есть практический смысл проекта: не заставлять команды переписывать агентную платформу с нуля, а добавить слой контроля поверх уже работающих решений. Один install — и дальше настройка политик. Ну, в теории всё так просто. На практике, конечно, всегда найдётся пара сюрпризов.

pip install agent-governance-toolkit[full]

Open source — не для галочки

Проект опубликован под лицензией MIT и собран как monorepo с семью независимо устанавливаемыми пакетами. Это позволяет внедрять функции поэтапно: начать с policy engine, позже добавить identity, затем подключить SRE-подходы и контроль соответствия. Такой путь особенно логичен для команд, которые строят мультиагентные системы и не хотят тащить весь стек сразу.

Microsoft отдельно подчёркивает: governance для AI-агентов слишком важен, чтобы оставаться закрытым вендорским механизмом. Компания планирует со временем передать проект в foundation и уже взаимодействует с OWASP Agentic AI, LF AI & Data Foundation и другими профильными сообществами.

Что ещё важно:

• более 9 500 тестов по всем пакетам и непрерывный fuzzing через ClusterFuzzLite;
• SLSA-совместимое provenance для сборок;
• мониторинг OpenSSF Scorecard;
• CodeQL и Dependabot для автоматического поиска уязвимостей;
• зафиксированные зависимости с криптографическими хешами для CI;
• 20 пошаговых туториалов по пакетам и функциям;
• SDK для Python, .NET и TypeScript.

Архитектура при этом расширяемая: публичные интерфейсы вроде ToolCallInterceptor, BaseIntegration, PluginInterface и PolicyProviderInterface позволяют подключать сторонние инструменты без переписывания ядра. Это мелочь только на бумаге. В реальной жизни именно такие вещи решают, взлетит платформа или застрянет на пилоте.

Как toolkit закрывает риски OWASP Agentic AI Top 10

Microsoft утверждает, что Agent Governance Toolkit покрывает все десять категорий рисков OWASP для агентных приложений. Соответствие выглядит так:

• Перехват целей — semantic intent classifier внутри policy engine.
• Неправильное использование инструментов — capability sandboxing и security gateway для MCP.
• Злоупотребление идентичностью — DID-идентичность и поведенческий trust scoring.
• Риски supply chain — подпись плагинов Ed25519 и проверка manifest-файлов.
• Исполнение кода — execution rings и ограничения ресурсов.
• Отравление памяти — Cross-Model Verification Kernel (CMVK) с majority voting.
• Небезопасные коммуникации — шифрование на уровне IATP.
• Каскадные сбои — circuit breaker и enforcement SLO.
• Эксплуатация доверия между человеком и агентом — approval workflows и quorum logic.
• Вышедшие из-под контроля агенты — ring-изоляция, trust decay и автоматический kill switch.

Здесь важен не только список функций, а сама логика построения защиты. Toolkit опирается на defense in depth: несколько независимых уровней контроля, каждый из которых ловит свой класс проблем. Если один слой не сработал — что, давайте честно, иногда случается, — остаются другие.

Какие выводы Microsoft сделала по ходу разработки

По словам команды, работа над проектом подтвердила несколько довольно приземлённых, но ценных идей.

• Лучше заимствовать, чем героически изобретать заново. Паттерны из ОС, service mesh и SRE уже проверены в бою. Переносить их в агентные системы оказалось разумнее, чем строить всё с чистого листа.
• Безопасность должна быть встроенной, а не опциональной. Governance встроен прямо в runtime-путь исполнения, а не навешивается поверх как декоративный аксессуар. И это правильно — опциональная защита обычно остаётся опциональной навсегда.
• Stateless-ядро упрощает почти всё. Масштабирование, контейнеризация, аудит, воспроизводимость — всё становится проще, когда центральный слой не тащит за собой лишнее состояние.
• Доверие не бывает раз и навсегда выданным. Модель trusted/untrusted слишком грубая. Динамический trust scoring с decay и адаптивными привилегиями лучше отражает поведение реальных агентных систем.

В общем, уроки не революционные. Но именно такие «нереволюционные» вещи потом спасают продакшен в три часа ночи.

С чего начать

Для быстрого старта Microsoft предлагает стандартный сценарий:

git clone https://github.com/microsoft/agent-governance-toolkit

cd agent-governance-toolkit

pip install -e "packages/agent-os[dev]" -e "packages/agent-mesh[dev]" -e "packages/agent-sre[dev]"

# Запуск демо governance

python demo/maf_governance_demo.py

Toolkit поддерживает Python 3.10+ и, по заявлению Microsoft, работает с задержкой менее 0,1 мс на p99. Отдельные пакеты опубликованы в PyPI, так что внедрять их можно постепенно — без большого взрыва в архитектуре. И это, наверное, самый здравый вариант.

Развёртывание в Azure

Если нужен короткий путь к production, Microsoft рекомендует разворачивать toolkit в Azure:

• Azure Kubernetes Service (AKS) — policy engine можно запускать как sidecar рядом с агентами для прозрачного контроля действий.
• Azure AI Foundry Agent Service — подходит для агентов, построенных на Foundry, с использованием встроенной middleware-интеграции.
• Azure Container Apps — вариант для serverless-контейнерного запуска агентных сервисов с governance-слоем.

В репозитории доступны инструкции по каждому сценарию развёртывания.

Почему это важно прямо сейчас

AI-агенты всё заметнее превращаются в автономные системы принятия решений — особенно в процессах, где ошибка стоит дорого: в финансах, операциях, поддержке, разработке, инфраструктуре. Поэтому вопрос уже не в том, нужен ли runtime-контроль. Нужен, без вариантов. Вопрос в другом: появится ли он заранее, как часть инженерной дисциплины, или только после первых громких инцидентов.

Microsoft явно делает ставку на первый сценарий и открывает проект для сообщества. Для рынка это хороший сигнал: тема агентной памяти и RAG, мультиагентного взаимодействия, безопасности и compliance постепенно выходит из режима эксперимента и становится нормальной инженерной задачей. Не самой простой, да. Но уже вполне предметной.

Agent Governance Toolkit — open-source проект под лицензией MIT.

Об авторе

Имран Сиддик — Principal Group Engineering Manager в Microsoft, архитектор в области Agentic AI и создатель Agent Governance Toolkit. Он также известен подходом «Scale by Subtraction» для гипермасштабируемых систем и руководит разработкой backend-сервисов и knowledge graph, лежащих в основе AI-агентов нового поколения.