AMD провела production-аудит Claude Code. 340 инженеров, 12 400 сессий за 6 недель.
Нашли три паттерна деградации:
Context poisoning - качество падает на 27-44% после 80+ tool calls в одной сессии.
Loop stuckness - в 15% сессий модель повторяет одну ошибку незамеченно.
False confidence spike - после 2-3 успехов уверенность растёт, точность падает.
Что делать, если используете Claude Code:
- Ограничить сессию 80 tool calls, не дольше.
- Правило трёх попыток: три неудачи - смена подхода, не четвёртая попытка.
- После 2-3 успехов подряд - внешняя проверка. Не доверять «done».
Это первый публичный production-аудит Claude Code такого масштаба. Anthropic отвечает, что часть исправлена в Opus 4.7, но паттерны остались. Session hygiene стала обязательной частью workflow.
И кстати говоря проверяя свои заметки я полностью согласен с их выводами. Особенно про правило трех попыток и внешние проверки. 80 Tool Cals - я переодически люблю нарушать, но будем экспериментировать
Нашли три паттерна деградации:
Context poisoning - качество падает на 27-44% после 80+ tool calls в одной сессии.
Loop stuckness - в 15% сессий модель повторяет одну ошибку незамеченно.
False confidence spike - после 2-3 успехов уверенность растёт, точность падает.
Что делать, если используете Claude Code:
- Ограничить сессию 80 tool calls, не дольше.
- Правило трёх попыток: три неудачи - смена подхода, не четвёртая попытка.
- После 2-3 успехов подряд - внешняя проверка. Не доверять «done».
Это первый публичный production-аудит Claude Code такого масштаба. Anthropic отвечает, что часть исправлена в Opus 4.7, но паттерны остались. Session hygiene стала обязательной частью workflow.
И кстати говоря проверяя свои заметки я полностью согласен с их выводами. Особенно про правило трех попыток и внешние проверки. 80 Tool Cals - я переодически люблю нарушать, но будем экспериментировать