Попался разбор свежего бенчмарка CoffeeBench от большого AI-канала.
Пробежался и закрыл: цифры пляшут, выводы пахнут отборным нейрослопом, пересказом пересказа (потом проверил, так и есть, четыре искажения).
В бенчмарках мне неинтересно «какая модель круче».
Интересно другое: как устроен сам бенч, какие паттерны поведения сработали, какие провалились, и какие уроки из этого реально следуют.
Поэтому полез в статью и код сам. Делюсь тем, что под капотом.
https://telegra.ph/CoffeeBench-pod-kapotom-06-27
Пробежался и закрыл: цифры пляшут, выводы пахнут отборным нейрослопом, пересказом пересказа (потом проверил, так и есть, четыре искажения).
В бенчмарках мне неинтересно «какая модель круче».
Интересно другое: как устроен сам бенч, какие паттерны поведения сработали, какие провалились, и какие уроки из этого реально следуют.
Поэтому полез в статью и код сам. Делюсь тем, что под капотом.
https://telegra.ph/CoffeeBench-pod-kapotom-06-27