Верховный суд ничего не говорил про искусственный интеллект - или как нейрослоперы иллюстрируют новость про нейрослоперов
Всю неделю по каналам и чатам расходится новость под заголовком «ВС обязал проверять документы после ИИ»
Звучит интересно? Да, конечно, неужели щас этим нейрослоперам и ИИ-курьерам настучат по рукам
Открываем определение: слов «искусственный интеллект», «ИИ» и «нейросеть» в нём нет ни одного раза
Суд написал «программное обеспечение». Нейрослоперам ИИ дописало про ИИ - анекдот, не находите?
И это ровно та ошибка, про которую сама новость
Факты верные, ярлык нейрослоперский - не проверенный
Что там на самом деле
Определение коллегии по экономическим спорам № 301-ЭС21-23756(4), дело № А82-22452/2018, полный текст от 3 сентября
Дословно: «Подготовка сторонами своей правовой позиции с использованием программного обеспечения осуществляется на свой риск и должна в любом случае сопровождаться проверкой достоверности полученных результатов».
И я полностью согласен с такой формулировкой, что бы не делала любая программа - ответственность в любом случае на человеке
Повод: представитель кредитора сослался на пункт 15 постановления Пленума № 48.
В постановлении 14 пунктов. Ну как вы сами знаете это нормальное поведение для ИИшки в рамках одного прогона "сделай хорошо, не ошибайся, без рисков, приведи нас к успеху"
Второй сдвиг: штраф ВС не накладывал
Он направил вопрос о штрафе в Арбитражный суд Ярославской области, двумя отдельными абзацами: на общество и на представителя лично
Третий сдвиг, уже в соседнем сюжете
В деле СИП (№ А71-11377/2025) было не «12 ссылок на несуществующие акты»
Из 12 часть вела на несуществующие акты, а часть на реальные, которым приписали выводы, которых там нет
Второй вид страшнее первого: он проходит проверку «я открыл, дело существует»
Вот почему проверить, что ссылка открывается, недостаточно
Юрист открывает ссылку, дело есть, галочка стоит
Проверять надо глубже: есть ли в акте та самая мысль, ради которой на него сослались
Мы про это писали в мае, когда глава CS-секции arXiv сообщил: явные признаки непроверенного вывода языковой модели в подаче ведут к годовому бану и последующей обязательной внешней рецензии
Запрета на применение ИИ там нет, требование ровно то же самое
И в разборе про агентов: главный риск не в том, что модель ошибётся, а в том, что она уверенно скажет, что всё сделала правильно
Что из этого следует на практике:
Единица проверки не документ, а утверждение: акт, пункт, дословная цитата
Один абзац отзыва может нести пять таких единиц
Проверяет не тот, кто писал
И не та же модель в том же диалоге, она подтвердит свою же выдумку
Модель-контролёр получает задачу не «прочитай», а «покажи, где именно это написано»
Не нашла фрагмент, значит утверждение не подтверждено. Дальше его проверяет человек или дополнительная, более специфицированная система
Знаете, я лично столкнулся с подобной штукой года 1.5 назад, когда люди начали активно использовать GPT в спорах.
Их ключевой ошибкой было - просто посмотреть текст, но не проверить на что он реально ссылается - соответственно спор обычно заканчивался обидками и блокировками что нейрослопера разоблачили
Так к чему я?
Я всецело поддерживаю использование AI в большинстве сфер деятельности.
Но на профессиональном уровне, с выработанными методологиями, с выстроенными процессами и пониманием ответственности
Да это сложнее и дороже чем: "Привет, клод, создай агента CEO который будет работать за меня, без риска и вложений"
Но только так AI может работать на масштабе и приносить значительную ценность
Если у вас уже развернуты агентские системы, начните с банального заведите агентов контролеров, с изолированным контекстом и другим семейством LLM под капотом
Всю неделю по каналам и чатам расходится новость под заголовком «ВС обязал проверять документы после ИИ»
Звучит интересно? Да, конечно, неужели щас этим нейрослоперам и ИИ-курьерам настучат по рукам
Открываем определение: слов «искусственный интеллект», «ИИ» и «нейросеть» в нём нет ни одного раза
Суд написал «программное обеспечение». Нейрослоперам ИИ дописало про ИИ - анекдот, не находите?
И это ровно та ошибка, про которую сама новость
Факты верные, ярлык нейрослоперский - не проверенный
Что там на самом деле
Определение коллегии по экономическим спорам № 301-ЭС21-23756(4), дело № А82-22452/2018, полный текст от 3 сентября
Дословно: «Подготовка сторонами своей правовой позиции с использованием программного обеспечения осуществляется на свой риск и должна в любом случае сопровождаться проверкой достоверности полученных результатов».
И я полностью согласен с такой формулировкой, что бы не делала любая программа - ответственность в любом случае на человеке
Повод: представитель кредитора сослался на пункт 15 постановления Пленума № 48.
В постановлении 14 пунктов. Ну как вы сами знаете это нормальное поведение для ИИшки в рамках одного прогона "сделай хорошо, не ошибайся, без рисков, приведи нас к успеху"
Второй сдвиг: штраф ВС не накладывал
Он направил вопрос о штрафе в Арбитражный суд Ярославской области, двумя отдельными абзацами: на общество и на представителя лично
Третий сдвиг, уже в соседнем сюжете
В деле СИП (№ А71-11377/2025) было не «12 ссылок на несуществующие акты»
Из 12 часть вела на несуществующие акты, а часть на реальные, которым приписали выводы, которых там нет
Второй вид страшнее первого: он проходит проверку «я открыл, дело существует»
Вот почему проверить, что ссылка открывается, недостаточно
Юрист открывает ссылку, дело есть, галочка стоит
Проверять надо глубже: есть ли в акте та самая мысль, ради которой на него сослались
Мы про это писали в мае, когда глава CS-секции arXiv сообщил: явные признаки непроверенного вывода языковой модели в подаче ведут к годовому бану и последующей обязательной внешней рецензии
Запрета на применение ИИ там нет, требование ровно то же самое
И в разборе про агентов: главный риск не в том, что модель ошибётся, а в том, что она уверенно скажет, что всё сделала правильно
Что из этого следует на практике:
Единица проверки не документ, а утверждение: акт, пункт, дословная цитата
Один абзац отзыва может нести пять таких единиц
Проверяет не тот, кто писал
И не та же модель в том же диалоге, она подтвердит свою же выдумку
Модель-контролёр получает задачу не «прочитай», а «покажи, где именно это написано»
Не нашла фрагмент, значит утверждение не подтверждено. Дальше его проверяет человек или дополнительная, более специфицированная система
Знаете, я лично столкнулся с подобной штукой года 1.5 назад, когда люди начали активно использовать GPT в спорах.
Их ключевой ошибкой было - просто посмотреть текст, но не проверить на что он реально ссылается - соответственно спор обычно заканчивался обидками и блокировками что нейрослопера разоблачили
Так к чему я?
Я всецело поддерживаю использование AI в большинстве сфер деятельности.
Но на профессиональном уровне, с выработанными методологиями, с выстроенными процессами и пониманием ответственности
Да это сложнее и дороже чем: "Привет, клод, создай агента CEO который будет работать за меня, без риска и вложений"
Но только так AI может работать на масштабе и приносить значительную ценность
Если у вас уже развернуты агентские системы, начните с банального заведите агентов контролеров, с изолированным контекстом и другим семейством LLM под капотом