Humanizer-ru против 35 тысяч текстов

humanizer-ru v3.16.0: проверил свои же запреты на 35 тысячах чужих текстов

Скилл убирает следы нейросети из русского текста. За четыре месяца в нём накопилось 58 признаков и 20 жёстких запретов, и держались они на одном основании: я так вижу. Человеческий контроль в эвале состоял из трёх текстов.

В этом релизе я взял внешний размеченный корпус AINL-Eval 2025. Это 35 158 русских научных аннотаций, где известно, кто автор: человек, GPT-4-turbo, Gemma, Llama. И прогнал их через свой сканер.

Результат неприятный:

• на научном тексте каталог не отличает человека от машины совсем: хотя бы один запрет срабатывает у 35.9% людей и у 26-36% моделей;
• часть запретов в этом жанре ловит как раз людей. Длинное тире: 4.8% у людей против 0-0.9% у моделей. «Является»: 8.0% против 0.1-3.0%;
• канцелярит в аннотации к статье - это норма жанра, а не след генератора.

Что сделал: у сканера появился флаг –genre. Для academic, legal и fiction глушатся запреты, законные в этом регистре. Срабатывания на людях падают с 35.9% до 4.2%.

Что уцелело: «играет ключевую роль» встречается у моделей в 5.7 раза чаще, чем у людей. Неодушевлённый субъект («исследование подчёркивает») - в 4.4 раза. «Комплексный подход» - в 3 раза.

Дальше Интереснее В корпусе есть класс unknown: модель, которой нет в обучающей части. Её каталог не ловит вообще, с жанровой поправкой срабатываний у неё даже меньше, чем у живых авторов Читается это так: маркеры описывают привычки конкретных семейств моделей, а не машинность как таковую. Скилл чистит текст. Детектором авторства он не работает, и обещать этого я не буду.

Из остального в релизе:

• 4 новых признака, категория M: неодушевлённый субъект, Title Case в русских заголовках, обрыв на полуслове, триада-отрицание;

• два гейта в CI. Первый: в примерах «До/После» половина «После» больше не может завести число, дату или имя, которых нет в исходнике Демонстрация учит модель сильнее инструкции, так что выдуманный факт в примере - это выдуманный факт в вашем тексте. Второй: README, сайт и сам промпт прогоняются через собственные запреты проекта.

Ставится в Claude Code, Cursor, Codex, Gemini CLI и Claude.ai. github.com/ilyautov/humanizer-ru