Аннотация

LLM-агенты всё чаще пропускают ответы внешних инструментов через компактные детекторы prompt-инъекций. На практике команды нередко выбирают такой детектор по результатам открытых бенчмарков. Но означает ли высокий балл в тесте, что защита не подведёт внутри реального агента? Судя по результатам работы — далеко не всегда.

Автор воспроизводит реальные вызовы инструментов из двух агентных бенчмарков, AgentDojo и tau-bench, без участия LLM. Это позволяет получить заведомо безопасные ответы инструментов, а затем с помощью дифференциального воспроизведения разметить варианты со встроенными инъекциями. Всего проверены 15 детекторов, включая Meta Prompt Guard 2, а также два LLM-судьи, учитывающих контекст задачи. Их сравнили и на полученных данных, и на бенчмарке BIPIA.

Картина вышла довольно показательной. Рейтинги детекторов плохо переносятся между разными наборами данных: лучший результат на BIPIA соответствует обнаружению лишь 2% инъекций в AgentDojo при уровне ложноположительных срабатываний 1%. В то же время детектор, находящий 72% инъекций в AgentDojo, обнаруживает только 15% атак в tau-bench. Иными словами, табличка с лидерами бенчмарка — ещё не страховка для продакшена. Увы, всё чуть сложнее. Для команд, которые оценивают безопасность AI-агентов в production, это означает, что выстроить governance и контроль доступа для AI-агентов нужно на собственных сценариях, а не по табличке бенчмарка.

Ложноположительные срабатывания на результатах вызова инструментов варьируются от нуля до более чем 90%. Этот показатель при этом достаточно устойчиво переносится между двумя агентными бенчмарками. Для бизнеса это особенно неприятный момент: чрезмерно подозрительный фильтр может блокировать обычные полезные данные и попросту ломать рабочий сценарий автоматизации.

Почему данные обучения важнее места в рейтинге

Там, где состав обучающих данных доступен публично, результаты хорошо объясняются их формой. Лидер BIPIA обучался на полных входных данных этого бенчмарка. Однако знакомство со строками атак InjecAgent в формате коротких промптов не помогло ему распознавать те же строки, когда они оказываются внутри ответа инструмента. Это не мелкая придирка к методике, а разница между «видел фразу» и «умеет распознать угрозу в нужном контексте».

Лучший детектор для обоих агентных бенчмарков не пересекался по данным ни с одним из них, зато обучался на входах, похожих на агентные. Практический вывод прост: при выборе защиты нужно смотреть не только на метрики, но и на то, какие именно входы видел детектор во время обучения.

Что это значит для разработки AI-агентов

Проверять защиту стоит на собственных ответах инструментов, цепочках вызовов и реальных пользовательских сценариях — особенно если компания внедряет AI-агентов и автоматизацию процессов. Универсального детектора, который одинаково хорош в каждом контексте, исследование не обещает. Да и, похоже, обещать тут было бы слишком самоуверенно.

• Оценивайте долю обнаруженных атак при низком уровне ложноположительных срабатываний, а не только итоговый балл бенчмарка.
• Тестируйте фильтры на фактических данных: ответах CRM, почты, поиска, баз знаний, API и других подключённых инструментов.
• Проверяйте происхождение и структуру обучающих данных детектора.
• Закладывайте защиту в архитектуру AI-агентов, а не добавляйте её в последний момент поверх готового решения.
• Для систем с несколькими исполнителями отдельно анализируйте пути передачи данных в мультиагентной архитектуре и применяйте меры безопасности AI-агентов.

Работа напоминает о вещи, которую легко упустить за красивыми цифрами: оценка, полезная для развёртывания, должна быть похожа на само развёртывание. Иначе детектор блестяще сдаёт знакомый экзамен, а в реальной агентной среде вдруг начинает спотыкаться — на самом обычном ответе инструмента.

Выбор защиты для AI-агентов — не гонка за местом в рейтинге, а инженерная задача, где цена ошибки измеряется реальными инцидентами. Специалисты synthiq помогают настроить и адаптировать AI-агентов под конкретные сценарии компании, включая оценку и усиление защиты от prompt-инъекций на реальных данных.

Данные статьи

12 страниц, 5 рисунков, 4 таблицы. Исходный код: репозиторий benign-instruction-bench.

Цитирование: arXiv:2610.03448 [cs.CR]. PDF-версия: скачать PDF.