Сегодня я отписался от парочки AI-авторов и занёс их в список нейрослоперов
Повод: вчера все разнесли новость «ИИ уже делает 16% реальной работы фрилансеров».
Десяток пересказов одной цифры, и ни автор не сходил дальше пресс-релиза.
Я сходил: блог CAIS, сайт бенча, репозиторий, статья.
Рассказываю, чего нет ни в одном пересказе.
Позиционирование у замера красивое.
По заявке авторов: 240 настоящих заказов с UpWork на $140 000 и 6 000 часов работы живых профи.
ИИ делает заказ, люди-эксперты сравнивают с работой профессионала, которому за неё платили.
Fable 5 сдала 16%, восемь месяцев назад лучший агент мог 2,5%.
Звучит как заявка на очень толковый прикладной бенчмарк которым можно померить что то реальное
Если всё так и есть
А теперь что внутри:
1. В открытом доступе 10 задач из 240. Это 4%.
Работ Fable 5, той самой с 16%, в открытом датасете нет вообще: только картинки в блоге.
Про которые CAIS сам пишет: ни одну клиент бы не принял как готовую - кайфово да, у меня есть бенчмарк, но я вам дам только выводы?
2. Цифру нельзя проверить.
Оценки делают люди из Scale AI, соавтора бенчмарка.
CAIS пробовали заменить их LLM-судьёй: тот завысил результаты в 2,3-2,9 раза.
Проверка работы агента оказалась такой же агентской задачей, как сама работа.
Число 16,1% существует только внутри связки CAIS + Scale.
3. У победителя бюджет втрое больше.
Всем моделям давали $50 на заказ, Fable дали $150, потому что её токены дороже.
Объяснение разумное, но в пересказах этого факта нет ни у кого.
4. Дата.
Результаты вышли 1 июля, в день возврата Fable после трёхнедельной блокировки.
Красивая цифра в красивый день, выгодная и CAIS, и Anthropic - не находите?
Честно в другую сторону: это не фейк.
Закрытый сет защищает задачи от утечки в обучение других моделей - ну хотя бы в теорие .
Худший сценарий раскрыт самими авторами (даже с проваленными неоценёнными задачами выходит 14,6%, всё равно топ).
Лидерборд никого не щадит: Gemini 3 Pro набрала 1,25%.
Мой вывод: это хороший замер автоматизации труда, которому хотелось бы верить на слово - но я не буду.
Направлению (2,5 → 16 за восемь месяцев) верю, точному числу нет.
Еще момент - надо смотреть что конкретно повлияло, развитие сетей в целом или же обвязки?
И как мне кажется что второе даже более важно.
Правило, которое я забрал из этого случая: чем громче цифра в заголовках, тем важнее сходить в первоисточник.
Все находки выше лежали в открытом доступе. Просто никто не удосужился.
И признание напоследок.
Листая примеры, поймал себя: я работаю с AI каждый день, но в половину доменов бенча даже не заглядывал.
3D, CAD, планировки.
Считал это территорией специализированного софта, а там уже сдают заказы.
Если даже я не открывал целые домены, сколько еще таких черных пятен на моей карте?
Возьмите домен из списка RLI, в который не заглядывали, и потратьте на него вечер - возможно найдете что то полезное.
Дальше интереснее: те 10 открытых задач можно скачать вместе с эталоными вариантами.
Думаю как подразгребу задачи - прогоню их через свою связку агентов и покажу, что выйдет на самом деле.
Какой бенч разобрать следующим, пишите в комментариях.
Повод: вчера все разнесли новость «ИИ уже делает 16% реальной работы фрилансеров».
Десяток пересказов одной цифры, и ни автор не сходил дальше пресс-релиза.
Я сходил: блог CAIS, сайт бенча, репозиторий, статья.
Рассказываю, чего нет ни в одном пересказе.
Позиционирование у замера красивое.
По заявке авторов: 240 настоящих заказов с UpWork на $140 000 и 6 000 часов работы живых профи.
ИИ делает заказ, люди-эксперты сравнивают с работой профессионала, которому за неё платили.
Fable 5 сдала 16%, восемь месяцев назад лучший агент мог 2,5%.
Звучит как заявка на очень толковый прикладной бенчмарк которым можно померить что то реальное
Если всё так и есть
А теперь что внутри:
1. В открытом доступе 10 задач из 240. Это 4%.
Работ Fable 5, той самой с 16%, в открытом датасете нет вообще: только картинки в блоге.
Про которые CAIS сам пишет: ни одну клиент бы не принял как готовую - кайфово да, у меня есть бенчмарк, но я вам дам только выводы?
2. Цифру нельзя проверить.
Оценки делают люди из Scale AI, соавтора бенчмарка.
CAIS пробовали заменить их LLM-судьёй: тот завысил результаты в 2,3-2,9 раза.
Проверка работы агента оказалась такой же агентской задачей, как сама работа.
Число 16,1% существует только внутри связки CAIS + Scale.
3. У победителя бюджет втрое больше.
Всем моделям давали $50 на заказ, Fable дали $150, потому что её токены дороже.
Объяснение разумное, но в пересказах этого факта нет ни у кого.
4. Дата.
Результаты вышли 1 июля, в день возврата Fable после трёхнедельной блокировки.
Красивая цифра в красивый день, выгодная и CAIS, и Anthropic - не находите?
Честно в другую сторону: это не фейк.
Закрытый сет защищает задачи от утечки в обучение других моделей - ну хотя бы в теорие .
Худший сценарий раскрыт самими авторами (даже с проваленными неоценёнными задачами выходит 14,6%, всё равно топ).
Лидерборд никого не щадит: Gemini 3 Pro набрала 1,25%.
Мой вывод: это хороший замер автоматизации труда, которому хотелось бы верить на слово - но я не буду.
Направлению (2,5 → 16 за восемь месяцев) верю, точному числу нет.
Еще момент - надо смотреть что конкретно повлияло, развитие сетей в целом или же обвязки?
И как мне кажется что второе даже более важно.
Правило, которое я забрал из этого случая: чем громче цифра в заголовках, тем важнее сходить в первоисточник.
Все находки выше лежали в открытом доступе. Просто никто не удосужился.
И признание напоследок.
Листая примеры, поймал себя: я работаю с AI каждый день, но в половину доменов бенча даже не заглядывал.
3D, CAD, планировки.
Считал это территорией специализированного софта, а там уже сдают заказы.
Если даже я не открывал целые домены, сколько еще таких черных пятен на моей карте?
Возьмите домен из списка RLI, в который не заглядывали, и потратьте на него вечер - возможно найдете что то полезное.
Дальше интереснее: те 10 открытых задач можно скачать вместе с эталоными вариантами.
Думаю как подразгребу задачи - прогоню их через свою связку агентов и покажу, что выйдет на самом деле.
Какой бенч разобрать следующим, пишите в комментариях.