В июне я спрашивал здесь: замечали, что после обновления модель работает не так на ваших задачах.
Тогда у меня был только личный опыт. Теперь есть проверка: 41 моя заметка за март–август против хронологии Anthropic за тот же период.
Почти всё совпало по датам. И причина почти всегда оказывалась не в весах модели.
Технически это шесть разных механизмов. Два из них обычно не учитывают вовсе.
Первый. Инференс недетерминирован даже при нулевой температуре, Anthropic пишет об этом в своём глоссарии. Причина не в видеокарте. Порядок сложения дробных чисел зависит от размера пачки запросов, которую сервер собирает в конкретную секунду, а пачка зависит от чужой нагрузки. Сложение дробных чисел не ассоциативно, поэтому сумма плывёт. На моделях 4.7 и новее температуру уже нельзя выставить вручную, параметр убрали.
Второй. Фича-флаги. Для Claude Code это подтверждено официально: флаги персональные, кэшируются на диск и протухают в долгих сессиях. Значит вы и коллега в один день сидите в разных срезах поведения, и оба правы.
Тонкий момент вот в чём. 7 августа Anthropic переобучил биологический классификатор и опубликовал ожидаемое падение числа переключений модели по поверхностям: примерно 67 процентов на Claude.ai, 55 в Cowork, 17 в Claude Code и 7 на Claude Platform. Это переключения по любым причинам, а не только биологические: тех, по формулировке компании, стало меньше примерно на 85 процентов сразу на всех поверхностях. Один фикс, четыре разных эффекта. Если вы меряете, стало ли лучше, ответ зависит от того, откуда вы меряете.
Отсюда практический выбор, который я сам полгода откладывал.
Либо у вас есть эталонный прогон: десять своих задач с известным правильным ответом, лог версии клиента и даты. Либо вы навсегда остаётесь в позиции «кажется, стало хуже», и любое ваше утверждение про вендора недоказуемо.
Хронологию по месяцам, шесть механизмов с весами и отпечаток сессии, который снимается за один ход, собрал в карусель
Обычно мы спорим о том, какая модель умнее. А ведёт себя система так, как ей разрешает обвязка вокруг модели. И меняют её без нас.
Тогда у меня был только личный опыт. Теперь есть проверка: 41 моя заметка за март–август против хронологии Anthropic за тот же период.
Почти всё совпало по датам. И причина почти всегда оказывалась не в весах модели.
Технически это шесть разных механизмов. Два из них обычно не учитывают вовсе.
Первый. Инференс недетерминирован даже при нулевой температуре, Anthropic пишет об этом в своём глоссарии. Причина не в видеокарте. Порядок сложения дробных чисел зависит от размера пачки запросов, которую сервер собирает в конкретную секунду, а пачка зависит от чужой нагрузки. Сложение дробных чисел не ассоциативно, поэтому сумма плывёт. На моделях 4.7 и новее температуру уже нельзя выставить вручную, параметр убрали.
Второй. Фича-флаги. Для Claude Code это подтверждено официально: флаги персональные, кэшируются на диск и протухают в долгих сессиях. Значит вы и коллега в один день сидите в разных срезах поведения, и оба правы.
Тонкий момент вот в чём. 7 августа Anthropic переобучил биологический классификатор и опубликовал ожидаемое падение числа переключений модели по поверхностям: примерно 67 процентов на Claude.ai, 55 в Cowork, 17 в Claude Code и 7 на Claude Platform. Это переключения по любым причинам, а не только биологические: тех, по формулировке компании, стало меньше примерно на 85 процентов сразу на всех поверхностях. Один фикс, четыре разных эффекта. Если вы меряете, стало ли лучше, ответ зависит от того, откуда вы меряете.
Отсюда практический выбор, который я сам полгода откладывал.
Либо у вас есть эталонный прогон: десять своих задач с известным правильным ответом, лог версии клиента и даты. Либо вы навсегда остаётесь в позиции «кажется, стало хуже», и любое ваше утверждение про вендора недоказуемо.
Хронологию по месяцам, шесть механизмов с весами и отпечаток сессии, который снимается за один ход, собрал в карусель
Обычно мы спорим о том, какая модель умнее. А ведёт себя система так, как ей разрешает обвязка вокруг модели. И меняют её без нас.