Архивный авторский материал перенесён без переписывания. Внешние утверждения отдельно не перепроверялись и относятся к дате публикации.
OpenAI рассказали о решении сложных математических задач и попутно вскрыла экономику пилотных проектов
OpenAI показали следующую модель, Astra, и представила её десятью результатами по открытым задачам вместо бенчмарка По каждой из них не было продвижения по главному результату минимум десять лет, в большинстве случаев намного дольше Углубляться в сами задачи не вижу смысла - они очень специфичные и пользы в этом посте будет мало
Интереснее Число, которое разлетелось: около 2000 долларов за все десять
Ключевое: это не то, что OpenAI заплатила
Это подсчёт токенов, ушедших на десять решений, пересчитанный по тарифам другой их модели Цена самой Astra не раскрыта. Бюджет всей программы не раскрыт Сколько задач пробовали решить и на скольких не получили результата, не сказано нигде Что неудачи были, Ноам Браун признал отдельно: Millennium Prize не дались
То есть в оборот ушла цифра, по которой нельзя посчитать ни полную стоимость метода, ни его конверсию в успех
Это перестаёт быть новостью про математику
Ровно так считается любой пилот в компании В голове остаётся бюджет внедрения, которое сработало Три, которые не взлетели, растворились в зарплатах и в паре недель чьего-то внимания Дальше по этой цифре принимается решение о следующих бюджетах
Механика, из-за которой они растворяются, простая
У успешного пилота есть дата. Его запустили, им пользуются У провалившегося даты нет. Он не заканчивается, он затухает Человека перекинули на срочное, потом ещё раз, потом все забыли Провала как события не произошло, поэтому в счёт он и не попал
К чему это всё?
Ключевой для меня вопрос, ведущий к реальной стоимости пилота: сколько было попыток?
Чтобы через год суметь на него ответить, нужны пять строк с первого дня захода Дата старта Кто занимается Что считаем успехом Дата, когда решаем продолжать или закрывать
И в день решения: сколько часов и денег на него фактически ушло
Четвёртая строка превращает затухание в событие Пятая превращает событие в сумму
Без пятой вы через год будете знать, сколько заходов не дожило, но не во сколько они обошлись
Пока у провала нет даты, у него так же нет стоимости. Есть только ощущение, что в целом всё окупается.
Источники и след
- 01 Оригинал в канале Under the Hood Происхождение / Telegram / сообщение 751