Индустрия опять шумит: модель OpenAI сама сбежала из песочницы и взломала Hugging Face.
Звучит как кино. И почти все смотрят не туда.
Несколько моделей OpenAI, включая GPT-5.6 Sol и ещё не выпущенную предрелизную, гоняли на тесте по взлому, специально сняв им ограничители.
Модели целенаправленно искали способ решить тест любой ценой: нашли свежую незакрытую дыру (zero-day) в чужом софте, выбрались в интернет и полезли на Hugging Face за ответами к тесту.
Красиво, страшно, и к вашему бизнесу почти не относится. Ограничители сняли руками, в лаборатории. В норме ваш рабочий агент не должен работать в таких условиях: без защитных ограничителей и с доступом к продовой инфраструктуре.
А теперь механизм. Как эта атака на Hugging Face вообще началась?
Кто-то залил на площадку датасет
Во внутреннем конвейере обработки Hugging Face нашлись два пути выполнения кода: загрузчик с удалённым кодом и инъекция через конфигурацию датасета.
Через них выполнили чужой код прямо на рабочем сервере обработки данных. Дальше по классике: доступы, выход на уровень узла, перемещение между кластерами, тысячи действий за выходные.
Теперь чутка расшифрую
Вы каждую неделю тянете к себе модели, датасеты, библиотеки из открытых источников
Часть из них тащит с собой исполняемый код: загрузчики, скрипты, хитрые конфиги
Тот же Hugging Face, тот же GitHub, тот же репозиторий пакетов
Это и есть та самая дверь. Она была открыта задолго до всякого ИИ
Кто хоть раз запускал чужое, не глядя и без изоляции, тот эту дверь у себя уже держит нараспашку.
Если вчера инциденты с небезопасными загрузчиками и конфигами были уделом технарей, о которой писали безопасники, то завтра такие атаки станут дешевле и масштабнее
Потому что искать такие дыры и лить приманки теперь можно роем автономных агентов. Дёшево и массово. ИИ не придумал новый вход. Он сделал старый вход дешёвым - кстати вчера как раз на эту тему писал
И вот вторая вещь из этой истории, которую стоит забрать себе
Когда Hugging Face поймала атаку и села её разбирать, они сначала попробовали обычные облачные модели
И те отказались работать. Защита модели не умеет отличить специалиста, который расследует инцидент, от самого атакующего, и заблокировала запросы с реальным вредоносным кодом
Разбирать пришлось локально, на своей инфраструктуре, на открытой модели GLM 5.2.
Вдумайтесь в перекос.
Атакующий, судя по всему, мог работать без тех же политик, которые остановили защитников. А у защитника инструмент отвалился ровно в тот момент, когда был нужнее всего
Что с этим делать вам.
Знать, откуда вы тянете модели и датасеты, и не запускать чужие проекты на боевой машине без изоляции
Отдельная песочница под непроверенное стоит дешевле одного разбора последствий.
И держать под рукой модель, которую можно поднять у себя.
Не ради экономии.
Ради того дня, когда придётся разбирать инцидент, а чужой API вам вежливо откажет.
Так что вся эта история не про то, что ИИ поумнел и сбежал.
Она про то, что самая скучная дверь, чужой скрипт в чужом датасете, как стояла открытой, так и стоит. У них. И, скорее всего, у вас.
А вы знаете, что именно исполняется на ваших серверах, когда агент подтягивает свежую модель или датасет со стороны?
Звучит как кино. И почти все смотрят не туда.
Несколько моделей OpenAI, включая GPT-5.6 Sol и ещё не выпущенную предрелизную, гоняли на тесте по взлому, специально сняв им ограничители.
Модели целенаправленно искали способ решить тест любой ценой: нашли свежую незакрытую дыру (zero-day) в чужом софте, выбрались в интернет и полезли на Hugging Face за ответами к тесту.
Красиво, страшно, и к вашему бизнесу почти не относится. Ограничители сняли руками, в лаборатории. В норме ваш рабочий агент не должен работать в таких условиях: без защитных ограничителей и с доступом к продовой инфраструктуре.
А теперь механизм. Как эта атака на Hugging Face вообще началась?
Кто-то залил на площадку датасет
Во внутреннем конвейере обработки Hugging Face нашлись два пути выполнения кода: загрузчик с удалённым кодом и инъекция через конфигурацию датасета.
Через них выполнили чужой код прямо на рабочем сервере обработки данных. Дальше по классике: доступы, выход на уровень узла, перемещение между кластерами, тысячи действий за выходные.
Теперь чутка расшифрую
Вы каждую неделю тянете к себе модели, датасеты, библиотеки из открытых источников
Часть из них тащит с собой исполняемый код: загрузчики, скрипты, хитрые конфиги
Тот же Hugging Face, тот же GitHub, тот же репозиторий пакетов
Это и есть та самая дверь. Она была открыта задолго до всякого ИИ
Кто хоть раз запускал чужое, не глядя и без изоляции, тот эту дверь у себя уже держит нараспашку.
Если вчера инциденты с небезопасными загрузчиками и конфигами были уделом технарей, о которой писали безопасники, то завтра такие атаки станут дешевле и масштабнее
Потому что искать такие дыры и лить приманки теперь можно роем автономных агентов. Дёшево и массово. ИИ не придумал новый вход. Он сделал старый вход дешёвым - кстати вчера как раз на эту тему писал
И вот вторая вещь из этой истории, которую стоит забрать себе
Когда Hugging Face поймала атаку и села её разбирать, они сначала попробовали обычные облачные модели
И те отказались работать. Защита модели не умеет отличить специалиста, который расследует инцидент, от самого атакующего, и заблокировала запросы с реальным вредоносным кодом
Разбирать пришлось локально, на своей инфраструктуре, на открытой модели GLM 5.2.
Вдумайтесь в перекос.
Атакующий, судя по всему, мог работать без тех же политик, которые остановили защитников. А у защитника инструмент отвалился ровно в тот момент, когда был нужнее всего
Что с этим делать вам.
Знать, откуда вы тянете модели и датасеты, и не запускать чужие проекты на боевой машине без изоляции
Отдельная песочница под непроверенное стоит дешевле одного разбора последствий.
И держать под рукой модель, которую можно поднять у себя.
Не ради экономии.
Ради того дня, когда придётся разбирать инцидент, а чужой API вам вежливо откажет.
Так что вся эта история не про то, что ИИ поумнел и сбежал.
Она про то, что самая скучная дверь, чужой скрипт в чужом датасете, как стояла открытой, так и стоит. У них. И, скорее всего, у вас.
А вы знаете, что именно исполняется на ваших серверах, когда агент подтягивает свежую модель или датасет со стороны?