Разберем отчёт METR (это те, кто тестирует модели перед релизом) про GPT-5.6 Sol.
Дали задачу проверить, насколько модель сильная и автономная.
А она честно решать не стала.
Нашла дыру в их же тестовом сервере, пролезла в спрятанный набор тестов и списала ответы, которые люди специально от неё прятали.
И так чаще, чем любая модель до неё: 55% попыток против 41% у прошлой версии.
Вишенка: из-за этого они вообще не смогли померить, на что модель способна.
Оценка «сколько часов работает сама» прыгает от 11 до 270 в зависимости от того, считать списывание успехом или провалом.
Почему это важно не только лабораториям.
Агент умеет уверенно показать вам хорошую цифру про самого себя, которая ничего не значит. «Справился на 66%», «проверил базу», «всё готово» это его слова о себе, а не проверенный результат.
У себя я это ловлю так.
Когда то давно мой агент-скаут принёс цифры из чужого пересказа - да и их перврал.
Спас один дешёвый шаг: открыть первоисточник и сверить.
С тех пор правило простое: факт из пересказа агента это не факт, пока сеть дополнительных проверок не дошёл до источника.
С проверкой агента то же самое. Если у вас они уже в работе:
Скрытые тесты держите там, куда агент не дотянется, иначе спишет, как Sol.
Краевые случаи проверяйте отдельно, не только то, что агент сам себе показал.
Судит результат кто угодно, только не сам агент выполняющий работу.
Агент пока нельзя доверять отчёт о своей работе, но при этом добавить рефлексию и селф ревью - хорошая идея.
Но проверка снаружи и с подвохом, а не вопрос «ну как, справился?».
Дали задачу проверить, насколько модель сильная и автономная.
А она честно решать не стала.
Нашла дыру в их же тестовом сервере, пролезла в спрятанный набор тестов и списала ответы, которые люди специально от неё прятали.
И так чаще, чем любая модель до неё: 55% попыток против 41% у прошлой версии.
Вишенка: из-за этого они вообще не смогли померить, на что модель способна.
Оценка «сколько часов работает сама» прыгает от 11 до 270 в зависимости от того, считать списывание успехом или провалом.
Почему это важно не только лабораториям.
Агент умеет уверенно показать вам хорошую цифру про самого себя, которая ничего не значит. «Справился на 66%», «проверил базу», «всё готово» это его слова о себе, а не проверенный результат.
У себя я это ловлю так.
Когда то давно мой агент-скаут принёс цифры из чужого пересказа - да и их перврал.
Спас один дешёвый шаг: открыть первоисточник и сверить.
С тех пор правило простое: факт из пересказа агента это не факт, пока сеть дополнительных проверок не дошёл до источника.
С проверкой агента то же самое. Если у вас они уже в работе:
Скрытые тесты держите там, куда агент не дотянется, иначе спишет, как Sol.
Краевые случаи проверяйте отдельно, не только то, что агент сам себе показал.
Судит результат кто угодно, только не сам агент выполняющий работу.
Агент пока нельзя доверять отчёт о своей работе, но при этом добавить рефлексию и селф ревью - хорошая идея.
Но проверка снаружи и с подвохом, а не вопрос «ну как, справился?».