Короткая история про обновление, в которой инструмент стал точнее сразу в обе стороны: начал ловить больше настоящего AI-слопа и при этом перестал придираться к живому тексту.
Сначала про сам инструмент
humanizer-ru это open-source штука, которая делает две вещи. Сканирует русский текст на признаки нейросетевой генерации и, если нужно, помогает переписать его более человеческим языком. Не «обмани детектор любой ценой», а «убери то, что реально выдаёт машину».
Большинство хьюманайзеров на рынке тупо копируют друг друга под копирку: убери длинные тире, специфичные слова и ещё примерно двадцать правил, которые закидывают в скилл, промт или инструкцию в надежде получить результат. Самое забавное, что скилл, который призван защищать от нейрослопа, сам является нейрослопом.
Я с самого начала строил свой вокруг другой идеи: измерять настоящее качество письма, а не поверхностные паттерны.
Правка первая. Сканер теперь видит форму всего текста
Раньше он ловил AI по фразам и ритму внутри абзаца.
Смотрел наивно: предложение за предложением, абзац за абзацем. И это работало, но упускало целый слой.
Нейрослоп выдаёт себя не только в отдельной фразе.
Он выдаёт себя на уровне документа.
Все абзацы одной длины.
Текст разваливается на однотипные пункты и списки, потому что модель любит структуру ради структуры.
Человек так не пишет. Человек скачет: длинный абзац, потом рубленый в три слова, потом снова длинный, потому что его несёт мысль, а не шаблон.
Я добавил две метрики на этот верхний слой.
Одна измеряет ровность абзацев, вторая ловит склонность текста рассыпаться в списки там, где должна быть проза.
Целятся они прицельно в длинные шаблонные посты и гайды, то есть туда, где машинность как раз и прячется в форме.
Короткую живую прозу метрики не трогают, иначе я бы наказывал любого, кто пишет лаконично.
Правка вторая. Я поймал собственный сканер на ложном обвинении
Эта история мне нравится больше, потому что она про то, как инструмент чуть не стал тем, с чем борется.
Читатель (@youngfounder, привет и спасибо за кейс) скинул классный тестовый кейс в обсуждениях.
Текст, написанный в стиле Толстого: светский вечер, 1806 год, всё как положено.
Вопрос был хороший: не уродует ли хьюманайзер авторский стиль, если этот стиль намеренно «старомодный» и густой. И тут меня ждали два сюрприза.
Первый приятный. Скилл отказался переписывать и объяснил почему. Сработали хард-локи на стиль и факты, ради которых правка тут только сломала бы голос. И я был искренне рад, что оно сработало именно так. Инструмент держит целостность текста вместо того, чтобы бездумно его перемалывать.
Второй неприятный.
Сканер влепил тексту штраф за оборот «таким образом».
В его картине мира это канцелярская связка-вывод, типичная машинная склейка абзацев. Вот только в тексте оборот стоял совсем в другой роли: «говорить таким образом, что», то есть как обстоятельство образа действия. Омоним.
Одни и те же три слова, два разных смысла.
И вот что важно. Умные метрики (рваный ритм, морфология) текст прочитали верно.
Они поняли, что перед ними живая проза. Ошибся именно грубый поиск по строке, тупое совпадение символов. Самый примитивный механизм подвёл там, где умные отработали чисто.
Я сузил правило. Проверил новую версию на корпусе реальных AI-текстов и убедился, что не потерял ни одного настоящего вхождения «таким образом» как машинной связки. А ложные срабатывания на художке убрал. Точность выросла, охват не просел.
Зачем я вообще это рассказываю
Потому что тут есть вывод шире одного инструмента. Точность детектора нужна в обе стороны одновременно.
Ловить больше настоящего слопа и при этом меньше врать на живом тексте. Если делать только половину, получится либо дырявое сито, либо машина, которая давит всё подряд.
Когда инструмент, который должен отличать машинное от человеческого, сам начинает судить по тупому совпадению строк, он становится ровно тем, против чего создан.
Хьюманайзер open-source, код тут: github.com/ilyautov/humanizer-ru
Сначала про сам инструмент
humanizer-ru это open-source штука, которая делает две вещи. Сканирует русский текст на признаки нейросетевой генерации и, если нужно, помогает переписать его более человеческим языком. Не «обмани детектор любой ценой», а «убери то, что реально выдаёт машину».
Большинство хьюманайзеров на рынке тупо копируют друг друга под копирку: убери длинные тире, специфичные слова и ещё примерно двадцать правил, которые закидывают в скилл, промт или инструкцию в надежде получить результат. Самое забавное, что скилл, который призван защищать от нейрослопа, сам является нейрослопом.
Я с самого начала строил свой вокруг другой идеи: измерять настоящее качество письма, а не поверхностные паттерны.
Правка первая. Сканер теперь видит форму всего текста
Раньше он ловил AI по фразам и ритму внутри абзаца.
Смотрел наивно: предложение за предложением, абзац за абзацем. И это работало, но упускало целый слой.
Нейрослоп выдаёт себя не только в отдельной фразе.
Он выдаёт себя на уровне документа.
Все абзацы одной длины.
Текст разваливается на однотипные пункты и списки, потому что модель любит структуру ради структуры.
Человек так не пишет. Человек скачет: длинный абзац, потом рубленый в три слова, потом снова длинный, потому что его несёт мысль, а не шаблон.
Я добавил две метрики на этот верхний слой.
Одна измеряет ровность абзацев, вторая ловит склонность текста рассыпаться в списки там, где должна быть проза.
Целятся они прицельно в длинные шаблонные посты и гайды, то есть туда, где машинность как раз и прячется в форме.
Короткую живую прозу метрики не трогают, иначе я бы наказывал любого, кто пишет лаконично.
Правка вторая. Я поймал собственный сканер на ложном обвинении
Эта история мне нравится больше, потому что она про то, как инструмент чуть не стал тем, с чем борется.
Читатель (@youngfounder, привет и спасибо за кейс) скинул классный тестовый кейс в обсуждениях.
Текст, написанный в стиле Толстого: светский вечер, 1806 год, всё как положено.
Вопрос был хороший: не уродует ли хьюманайзер авторский стиль, если этот стиль намеренно «старомодный» и густой. И тут меня ждали два сюрприза.
Первый приятный. Скилл отказался переписывать и объяснил почему. Сработали хард-локи на стиль и факты, ради которых правка тут только сломала бы голос. И я был искренне рад, что оно сработало именно так. Инструмент держит целостность текста вместо того, чтобы бездумно его перемалывать.
Второй неприятный.
Сканер влепил тексту штраф за оборот «таким образом».
В его картине мира это канцелярская связка-вывод, типичная машинная склейка абзацев. Вот только в тексте оборот стоял совсем в другой роли: «говорить таким образом, что», то есть как обстоятельство образа действия. Омоним.
Одни и те же три слова, два разных смысла.
И вот что важно. Умные метрики (рваный ритм, морфология) текст прочитали верно.
Они поняли, что перед ними живая проза. Ошибся именно грубый поиск по строке, тупое совпадение символов. Самый примитивный механизм подвёл там, где умные отработали чисто.
Я сузил правило. Проверил новую версию на корпусе реальных AI-текстов и убедился, что не потерял ни одного настоящего вхождения «таким образом» как машинной связки. А ложные срабатывания на художке убрал. Точность выросла, охват не просел.
Зачем я вообще это рассказываю
Потому что тут есть вывод шире одного инструмента. Точность детектора нужна в обе стороны одновременно.
Ловить больше настоящего слопа и при этом меньше врать на живом тексте. Если делать только половину, получится либо дырявое сито, либо машина, которая давит всё подряд.
Когда инструмент, который должен отличать машинное от человеческого, сам начинает судить по тупому совпадению строк, он становится ровно тем, против чего создан.
Хьюманайзер open-source, код тут: github.com/ilyautov/humanizer-ru