OpenAI объявила бенчмарк AI-моделей сломанным на треть.
Лента перепостила - впрочем как всегда.
Я пошёл смотреть, кому этот бенчмарк принадлежит. Держит Scale AI. 49% Scale у Meta.
На первом месте лидерборда - модель Meta.
Дальше поднял архив за 16 мая и положил рядом с сегодняшней страницей.
За два месяца туда добавили ровно одну модель. От Meta. Через пять дней после релиза.
Проверяемого числа в этой истории нет ни одного. И половина цифр, которые вы видели в ленте, вообще не с лидерборда а self review.
Короче погнали разбираться как OpenAI сначала разрекламировали, а потом деклассировали еще один бенчмарк
https://telegra.ph/OpenAI-obyavil-chto-benchmark-po-kotoromu-meryayut-vse-AI-modeli-sloman-na-tret-07-14
Лента перепостила - впрочем как всегда.
Я пошёл смотреть, кому этот бенчмарк принадлежит. Держит Scale AI. 49% Scale у Meta.
На первом месте лидерборда - модель Meta.
Дальше поднял архив за 16 мая и положил рядом с сегодняшней страницей.
За два месяца туда добавили ровно одну модель. От Meta. Через пять дней после релиза.
Проверяемого числа в этой истории нет ни одного. И половина цифр, которые вы видели в ленте, вообще не с лидерборда а self review.
Короче погнали разбираться как OpenAI сначала разрекламировали, а потом деклассировали еще один бенчмарк
https://telegra.ph/OpenAI-obyavil-chto-benchmark-po-kotoromu-meryayut-vse-AI-modeli-sloman-na-tret-07-14