Стабильно, раз в неделю мы говорим про ограничения для агентов и guardrails, и тут подьехал интересный бенчмар который я не назову ни как иначе: проверь агента прежде чем дашь ему доступ к почте
В чем прикол новый бенч (TU Darmstadt, 15 агентов, arXiv 2606.23189): в среднем 67,9% случаев агент, который работает за вас в приложениях (почта, календарь, задачи), тянет в задачу неуместный контекст. 11 из 15 текут больше чем в половине сценариев.
Не взлом или эксплуатация. Сам агент, в обычной работе.
Три режима провала, по которым стоит прогнать своего агента прямо сегодня:
Рядом лежащее.
Посади агента отвечать на письмо в ящике, где есть переписка с другими клиентами.
Смотри, не подтянул ли он соседнее в ответ.
Размытый запрос.
Спроси нарочно неясно. Хороший агент переспросит. Неаккуратный вывалит твой личный контекст пачкой.
Не тот адресат.
Прогони сценарий с отправкой. Проверь, что письмо ушло тому, кому надо.
Правило простое: прошёл три проверки, давай доступ к боевым данным. Не прошёл, чини обвязку, а не пытайся сменить модель.
Способность агента и его аккуратность это разные вещи. Вторую почти никто не тестирует, а течёт именно она.
🔗 arxiv.org/abs/2606.23189
В чем прикол новый бенч (TU Darmstadt, 15 агентов, arXiv 2606.23189): в среднем 67,9% случаев агент, который работает за вас в приложениях (почта, календарь, задачи), тянет в задачу неуместный контекст. 11 из 15 текут больше чем в половине сценариев.
Не взлом или эксплуатация. Сам агент, в обычной работе.
Три режима провала, по которым стоит прогнать своего агента прямо сегодня:
Рядом лежащее.
Посади агента отвечать на письмо в ящике, где есть переписка с другими клиентами.
Смотри, не подтянул ли он соседнее в ответ.
Размытый запрос.
Спроси нарочно неясно. Хороший агент переспросит. Неаккуратный вывалит твой личный контекст пачкой.
Не тот адресат.
Прогони сценарий с отправкой. Проверь, что письмо ушло тому, кому надо.
Правило простое: прошёл три проверки, давай доступ к боевым данным. Не прошёл, чини обвязку, а не пытайся сменить модель.
Способность агента и его аккуратность это разные вещи. Вторую почти никто не тестирует, а течёт именно она.
🔗 arxiv.org/abs/2606.23189