Как AI перестаёт подглядывать в шпаргалку
Вы знаете этого стажёра. Три месяца на работе, а при каждом вопросе лезет в корпоративную вики. Нашёл инструкцию — сделал. Не нашёл — завис.
Так работают почти все AI-агенты прямо сейчас. Получил задачу, полез в базу знаний, нашёл релевантный кусок, выполнил. Завтра та же задача — и он снова полезет в ту же базу. Как будто первого раза не было.
Ребята из Чжэцзянского университета (статья SKILL0, 3 апреля) попробовали по-другому. Идея простая до смешного: при обучении агенту подсовывают шпаргалки с навыками. Но по мере того как он осваивается, шпаргалки забирают. Одну за другой. Не по расписанию, а когда видят, что конкретная подсказка больше не помогает — агент и без неё справляется.
К концу обучения шпаргалок ноль. Агент работает с чистого листа. И вот что интересно: он работает лучше, чем когда подсказки были. +9.7% на тестах ALFWorld.
Разница примерно как между поваром, который помнит рецепт, и тем, кто каждый раз гуглит "как варить макароны". Первый ещё и импровизирует.
А теперь к деньгам. Обычный агент с retrieval жрёт 2000-5000 токенов контекста на каждый шаг (это всё эти куски из базы знаний, которые он тащит с собой). SKILL0 — меньше 500. Экономия в 4-10 раз на каждом действии. Если у вас агент делает 1000 действий в день, посчитайте сами.
Но есть нюанс (и это меня цепляет больше всего). Текущие агенты хрупкие: сломалась база знаний, поменялся формат документов, упал поисковый индекс — и агент бесполезен. Агент, который впитал навыки в себя, от этого не зависит. Это другой уровень надёжности.
Мы пока в самом начале. Но направление понятно: от агентов-стажёров к агентам, которые реально учатся.
У вас AI-процессы сейчас какие — "стажёр с вики" или уже что-то поинтереснее?
Вы знаете этого стажёра. Три месяца на работе, а при каждом вопросе лезет в корпоративную вики. Нашёл инструкцию — сделал. Не нашёл — завис.
Так работают почти все AI-агенты прямо сейчас. Получил задачу, полез в базу знаний, нашёл релевантный кусок, выполнил. Завтра та же задача — и он снова полезет в ту же базу. Как будто первого раза не было.
Ребята из Чжэцзянского университета (статья SKILL0, 3 апреля) попробовали по-другому. Идея простая до смешного: при обучении агенту подсовывают шпаргалки с навыками. Но по мере того как он осваивается, шпаргалки забирают. Одну за другой. Не по расписанию, а когда видят, что конкретная подсказка больше не помогает — агент и без неё справляется.
К концу обучения шпаргалок ноль. Агент работает с чистого листа. И вот что интересно: он работает лучше, чем когда подсказки были. +9.7% на тестах ALFWorld.
Разница примерно как между поваром, который помнит рецепт, и тем, кто каждый раз гуглит "как варить макароны". Первый ещё и импровизирует.
А теперь к деньгам. Обычный агент с retrieval жрёт 2000-5000 токенов контекста на каждый шаг (это всё эти куски из базы знаний, которые он тащит с собой). SKILL0 — меньше 500. Экономия в 4-10 раз на каждом действии. Если у вас агент делает 1000 действий в день, посчитайте сами.
Но есть нюанс (и это меня цепляет больше всего). Текущие агенты хрупкие: сломалась база знаний, поменялся формат документов, упал поисковый индекс — и агент бесполезен. Агент, который впитал навыки в себя, от этого не зависит. Это другой уровень надёжности.
Мы пока в самом начале. Но направление понятно: от агентов-стажёров к агентам, которые реально учатся.
У вас AI-процессы сейчас какие — "стажёр с вики" или уже что-то поинтереснее?