Помните в апреле я писал про token audit Opus 4.7 и вскользь бросил «русский в Claude в 1.5-2 раза дороже английского»? Меня поправили несколько человек, что цифра древняя. Полез проверить. День ушёл на замеры.
Цифра реально древняя.
На современных моделях (GPT-4o, Claude 3.5/4, Mistral, Qwen) средний оверхед русского, около 25-30%. На некоторых жанрах русский короче английского. Полтора раза, это GPT-3.5 эпоха, на свежих токенайзерах закончилась.
Но главное даже не это. В третьем эксперименте я взял один промпт в двух стилях, канцелярит и плотный, и замерил оба на двух языках:
RU канцелярит: 204 токена
RU плотный: 83 токена (минус 59%)
EN плотный: 64 токена
Переписать промпт из канцелярита в плотный режет токены в 2.5 раза. В десять раз больше, чем смена языка. Большинство тех, кто борется с накладными расходами на обработку русского, борется со своим канцеляритом.
В PDF снизу, все 7 экспериментов, бизнес-калькуляция в долларах для 5 типовых МСБ-сценариев , пять рычагов экономии по убыванию эффекта и сверка с 5 академическими работами.
Карточки выше, компактная версия. Полный разбор в PDF.
Цифра реально древняя.
На современных моделях (GPT-4o, Claude 3.5/4, Mistral, Qwen) средний оверхед русского, около 25-30%. На некоторых жанрах русский короче английского. Полтора раза, это GPT-3.5 эпоха, на свежих токенайзерах закончилась.
Но главное даже не это. В третьем эксперименте я взял один промпт в двух стилях, канцелярит и плотный, и замерил оба на двух языках:
RU канцелярит: 204 токена
RU плотный: 83 токена (минус 59%)
EN плотный: 64 токена
Переписать промпт из канцелярита в плотный режет токены в 2.5 раза. В десять раз больше, чем смена языка. Большинство тех, кто борется с накладными расходами на обработку русского, борется со своим канцеляритом.
В PDF снизу, все 7 экспериментов, бизнес-калькуляция в долларах для 5 типовых МСБ-сценариев , пять рычагов экономии по убыванию эффекта и сверка с 5 академическими работами.
Карточки выше, компактная версия. Полный разбор в PDF.