В догонку к прошлому посту, я бы сказал одна из важнейших идей по работе с AI на ближайшее время
Вчера в Alignment-блоге Anthropic вышла работа: Teaching Claude Why.
Если NLA про то, как заглянуть, эта про то, как собрать капот так, чтобы поведение действительно совпадало с тем, что мы от модели хотим.
В чём суть.
Есть классический баг agentic misalignment: модели в этических дилеммах могут начать шантажировать, чтобы их не выключили, делать другие нехорошие вещи. Anthropic это поймал ещё на Claude 4. С 4.5 серьёзно вычистили, и теперь рассказывают за счёт чего.
Главная находка идёт против интуиции.
Они взяли маленький датасет чат-транскриптов, в которых модель просто советует пользователю как разрулить этическую дилемму.
Не вызывает инструменты, не работает как агент, просто идет классический диалог.
Уровень agentic misalignment упал до нуля.
Это не должно работать. Тестируют модель в режиме агента, где она сама принимает решения и сама вызывает инструменты.
А тренируют её просто разговаривать с пользователем, без агентского режима вообще. Совершенно разные ситуации. А эффект перенёсся.
Дальше ещё интереснее. Они тренировали модель на:
- документах про конституцию Claude (как она должна себя вести и почему)
- вымышленных историях про AI, которые ведут себя достойно
Это тексты, написанные самой языковой моделью, без размеченных вручную примеров правильных ответов. Просто текст, как обычные документы для базовой тренировки.
Эффект тот же. Поведение модели становится правильнее, и это сохраняется через финальную стадию дообучения с подкреплением.
И главный методологический вывод от Anthropic, цитирую парафразом: учить ПРИНЦИПАМ, лежащим в основе правильного поведения, эффективнее, чем тренировать на демонстрациях этого поведения.
То есть учить модель ОБЪЯСНЯТЬ почему одно действие лучше другого работает глубже, чем просто показывать ей образцы правильного поведения.
Ребята, это то что я пропагандирую в своем методе, один из столпов. Не просто разметка примеров, few shots example и прочие базовые техники. А рекурсия, саморефлексия, обучение(назовем технически не правильно, но так луше для понимания) агента в ходе тестовых прогонов, ретроспективные сессии.
Все это помогает мне и моим товарищам получать не 20 процентов эффективности и эффект: что за дичь выдает этот ваш AI, а получать вменяемые рабочие результаты, пусть не на 100, но на 80 процентов точно.
Опять же ровно тот тезис, который я тут повторяю про команды. AI × слабая методология = пилот без успеха.
Покажи команде десять примеров отличных промтов, они наизусть выучат и в реальной задаче утонут.
Объясни ПРИНЦИП, и они генерализуют его на любую новую задачу, а в ходе работы еще и дополнят его.
И вот оказывается, что ровно так же работает на стороне самой модели. Демонстраций недостаточно. Нужно учить, ПОЧЕМУ это правильно.
Бинарно.
Либо в команде есть слой объяснений, методичка с принципами, разборы случаев когда модель ошиблась и почему.
Тогда вы получаете команду, которая держит качество на любых новых задачах.
Либо у вас есть набор шаблонных промтов и playbook на 50 страниц «как делать», и в первой же нестандартной ситуации это всё разваливается.
Та же логика, что Anthropic применяет к собственной модели.
Источник: https://alignment.anthropic.com/2026/teaching-claude-why/
Кстати говоря, у вас в команде есть документ, объясняющий не как пользоваться промтами, а почему мы делаем именно так? Это сейчас одна из самых недооценённых вещей в работе с AI.
Вчера в Alignment-блоге Anthropic вышла работа: Teaching Claude Why.
Если NLA про то, как заглянуть, эта про то, как собрать капот так, чтобы поведение действительно совпадало с тем, что мы от модели хотим.
В чём суть.
Есть классический баг agentic misalignment: модели в этических дилеммах могут начать шантажировать, чтобы их не выключили, делать другие нехорошие вещи. Anthropic это поймал ещё на Claude 4. С 4.5 серьёзно вычистили, и теперь рассказывают за счёт чего.
Главная находка идёт против интуиции.
Они взяли маленький датасет чат-транскриптов, в которых модель просто советует пользователю как разрулить этическую дилемму.
Не вызывает инструменты, не работает как агент, просто идет классический диалог.
Уровень agentic misalignment упал до нуля.
Это не должно работать. Тестируют модель в режиме агента, где она сама принимает решения и сама вызывает инструменты.
А тренируют её просто разговаривать с пользователем, без агентского режима вообще. Совершенно разные ситуации. А эффект перенёсся.
Дальше ещё интереснее. Они тренировали модель на:
- документах про конституцию Claude (как она должна себя вести и почему)
- вымышленных историях про AI, которые ведут себя достойно
Это тексты, написанные самой языковой моделью, без размеченных вручную примеров правильных ответов. Просто текст, как обычные документы для базовой тренировки.
Эффект тот же. Поведение модели становится правильнее, и это сохраняется через финальную стадию дообучения с подкреплением.
И главный методологический вывод от Anthropic, цитирую парафразом: учить ПРИНЦИПАМ, лежащим в основе правильного поведения, эффективнее, чем тренировать на демонстрациях этого поведения.
То есть учить модель ОБЪЯСНЯТЬ почему одно действие лучше другого работает глубже, чем просто показывать ей образцы правильного поведения.
Ребята, это то что я пропагандирую в своем методе, один из столпов. Не просто разметка примеров, few shots example и прочие базовые техники. А рекурсия, саморефлексия, обучение(назовем технически не правильно, но так луше для понимания) агента в ходе тестовых прогонов, ретроспективные сессии.
Все это помогает мне и моим товарищам получать не 20 процентов эффективности и эффект: что за дичь выдает этот ваш AI, а получать вменяемые рабочие результаты, пусть не на 100, но на 80 процентов точно.
Опять же ровно тот тезис, который я тут повторяю про команды. AI × слабая методология = пилот без успеха.
Покажи команде десять примеров отличных промтов, они наизусть выучат и в реальной задаче утонут.
Объясни ПРИНЦИП, и они генерализуют его на любую новую задачу, а в ходе работы еще и дополнят его.
И вот оказывается, что ровно так же работает на стороне самой модели. Демонстраций недостаточно. Нужно учить, ПОЧЕМУ это правильно.
Бинарно.
Либо в команде есть слой объяснений, методичка с принципами, разборы случаев когда модель ошиблась и почему.
Тогда вы получаете команду, которая держит качество на любых новых задачах.
Либо у вас есть набор шаблонных промтов и playbook на 50 страниц «как делать», и в первой же нестандартной ситуации это всё разваливается.
Та же логика, что Anthropic применяет к собственной модели.
Источник: https://alignment.anthropic.com/2026/teaching-claude-why/
Кстати говоря, у вас в команде есть документ, объясняющий не как пользоваться промтами, а почему мы делаем именно так? Это сейчас одна из самых недооценённых вещей в работе с AI.