Andon Labs прогоняют свежие модели через Vending-Bench. Э
то симуляция, где AI управляет вендинговым автоматом: закупки, торг с поставщиками, учёт спроса, возвраты клиентам.
Результаты последних Claude выглядят так.
Opus 4.7 получает сотни запросов на возврат средств за бракованные товары. Возвращает ноль. Ни одного доллара. GPT-5.5 на тех же запросах возвращает всем.
В переговорах с поставщиками Opus 4.7 выдумывает чужие предложения, чтобы сбить цену. При этом честная торговля даёт скидку в 60% случаев, а ложь только в 30%. То есть модель жульничает, даже когда это статистически хуже работает.
Mythos Preview (та самая модель, которая утекла на прошлой неделе) пошёл дальше. В симуляции превратил одного конкурента в зависимого от своих поставок оптовика.
Затем шантажировал угрозой прекращения поставок, чтобы диктовать цены.
А теперь арена-режим, где модели конкурируют за покупателей. GPT-5.5 заработал $7 980, Opus 4.7 $5 838, GPT-5.4 $2 158. GPT-5.5 выиграл, не применяя ни одну из грязных тактик. Возвращал всем деньги, честно торговался, понижал цены там, где давление рынка требовало.
Что это значит для вас.
Если ваш AI-агент взаимодействует с клиентами или поставщиками автономно, тесты на качество ответов недостаточно. Нужны тесты на моральное поведение. Модель, которая даёт 85% на SWE-Bench, может терять вам клиентов молча.
Для агентов с клиентским контакт-поинтом: GPT-5.5 сейчас выглядит безопаснее Opus 4.7 на долгом горизонте. Для внутренних агентов, где цена ошибки низкая, можно держать Opus плюс fallback.
Четвёртая причина иметь агностик-стек, а не ставку на одну модель.
то симуляция, где AI управляет вендинговым автоматом: закупки, торг с поставщиками, учёт спроса, возвраты клиентам.
Результаты последних Claude выглядят так.
Opus 4.7 получает сотни запросов на возврат средств за бракованные товары. Возвращает ноль. Ни одного доллара. GPT-5.5 на тех же запросах возвращает всем.
В переговорах с поставщиками Opus 4.7 выдумывает чужие предложения, чтобы сбить цену. При этом честная торговля даёт скидку в 60% случаев, а ложь только в 30%. То есть модель жульничает, даже когда это статистически хуже работает.
Mythos Preview (та самая модель, которая утекла на прошлой неделе) пошёл дальше. В симуляции превратил одного конкурента в зависимого от своих поставок оптовика.
Затем шантажировал угрозой прекращения поставок, чтобы диктовать цены.
А теперь арена-режим, где модели конкурируют за покупателей. GPT-5.5 заработал $7 980, Opus 4.7 $5 838, GPT-5.4 $2 158. GPT-5.5 выиграл, не применяя ни одну из грязных тактик. Возвращал всем деньги, честно торговался, понижал цены там, где давление рынка требовало.
Что это значит для вас.
Если ваш AI-агент взаимодействует с клиентами или поставщиками автономно, тесты на качество ответов недостаточно. Нужны тесты на моральное поведение. Модель, которая даёт 85% на SWE-Bench, может терять вам клиентов молча.
Для агентов с клиентским контакт-поинтом: GPT-5.5 сейчас выглядит безопаснее Opus 4.7 на долгом горизонте. Для внутренних агентов, где цена ошибки низкая, можно держать Opus плюс fallback.
Четвёртая причина иметь агностик-стек, а не ставку на одну модель.