Хрупкость самоулучшающихся ИИ-агентов: дисперсия, порядок задач и недоопределённость

arXiv:2608.18066 [cs.AI] · опубликовано 18 августа 2026 года · последняя версия: 6 сентября 2026 года.

Авторы: Qinyuan Ye, Yu Li, Yada Pruksachatkun, Jiaxin Zhang, Chien-Sheng Wu.

Темы: искусственный интеллект, обработка естественного языка, машинное обучение.

Аннотация:
Самоулучшающиеся агенты с памятью обучаются на непрерывном потоке задач и со временем корректируют своё поведение, опираясь на текстовое хранилище опыта. В недавних исследованиях такие подходы выглядят многообещающе, однако вопрос их надёжности изучен заметно слабее. Авторы заново оценивают два метода, основанных на памяти, и расширяют экспериментальную схему в двух направлениях: проводят несколько независимых запусков самоулучшения, чтобы измерить разброс результатов, и меняют порядок задач, чтобы проверить его влияние.
Эксперименты выявляют две уязвимости. Во-первых, в сложных средах и многошаговых сценариях оценка агентов изначально содержит значительную случайную вариативность; цикл самоулучшения способен её усиливать. Во-вторых, итоговое качество существенно зависит от последовательности задач. Порядок «по умолчанию», использовавшийся в предыдущих работах, фактически задаёт скрытый учебный план и может оказаться неявным условием успеха. Иными словами, переставили задачи — и картина уже другая. Не мелочь. Практический вывод для команд: устойчивость агента приходится измерять и отлаживать на повторяемых прогонах, а не подтверждать одним удачным запуском.
Ручной анализ записей памяти приводит авторов к гипотезе: часть нестабильности связана с недоопределённостью задач и среды. Эту гипотезу проверяют, добавляя в формирование памяти более точные сведения — развёрнутые критерии оценки и обратную связь среды. Такая информация частично уменьшает падение качества, но заметные различия между запусками сохраняются. Значит, дело не только в спецификации: остаются и другие факторы, которые пока не получили ясного объяснения.
Работа призывает к более строгой оценке самоулучшающихся агентов: публиковать результаты нескольких запусков и проводить стресс-тесты в сложных условиях. Авторы также подчёркивают важность систем и интерфейсов, которые дают человеку возможность контролировать агента и снижают риск непредсказуемых сбоев.

Что это означает для разработки AI-агентов

Для команд, внедряющих AI-агентов и агентную автоматизацию, вывод довольно практичный: единичный удачный прогон не доказывает устойчивость решения. Нужны повторные испытания, вариации входных данных и проверка того, не «подстроился» ли агент под случайно удачную последовательность задач.

Особого внимания требует агентная память и RAG. Если агент сохраняет слишком общие, неоднозначные или плохо проверенные выводы, последующие действия могут опираться на неверный контекст. Хорошая память — это не просто длинный журнал событий; ей необходимы понятные источники, критерии качества и контролируемое обновление.

Для многошаговых и распределённых решений важны воспроизводимая архитектура AI-агентов, наблюдаемость и механизмы отката. А в сценариях, где ошибка дорого стоит, безопасность, человеческое подтверждение критических действий и соблюдение требований — не бюрократическая надстройка, а часть инженерной конструкции.

Если такие агенты выходят в продуктив, перечисленные требования становятся инженерной задачей, а не декларацией: настроим контур подтверждения критических действий и журналирование решений агента — с понятными правилами эскалации и разбором инцидентов.

Материалы

Цитирование: Ye, Q. и др. On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification. arXiv:2608.18066 [cs.AI], 2026. DOI: 10.48550/arXiv.2608.18066.