Видели новости про то, что Kimi K3 на 2,78 триллиона параметров теперь можно запустить на слабом ноутбуке?
Достаточно 8 гигабайт памяти, движок весит 176 килобайт, работает почти без потери качества?
Разберём, что здесь правда, а что классический приём «правда без второй половины».
Правда: такой проект реально существует, его выложил в открытый доступ инженер-энтузиаст, и это честная, качественная инженерная работа
Он действительно заставил модель весом почти в три триллиона параметров считаться на обычном процессоре, без видеокарты и без специальных библиотек.
Штука, которую полгода назад назвали бы фантастикой.
Вот как это работает, без терминов
У модели внутри не один «мозг», а почти 900 узких специалистов
На каждое слово ответа зовут не всех сразу, а только 16 из них: остальные 880 в этот момент просто не нужны
Раньше движки всё равно держали всех специалистов «в комнате», грузили целиком в память
Автор проекта сделал проще: специалисты живут на диске, и в память подтягивается только тот, кого реально позвали
Приём старый как жизнь: не носи с собой весь склад, если тебе нужна одна деталь. Именно это и позволило ужать память с расчётных пяти с половиной терабайт до 8 гигабайт.
Теперь то, что осталось за кадром в вирусном пересказе.
Склад с деталями, все 900 специалистов, должен физически стоять рядом: это полтора терабайта на быстром SSD
Не «где-то в облаке», а на диске твоего собственного компьютера. Это не «слабый ноутбук», это отдельная закупка железа, которая стоит дороже самого ноутбука.
«Почти без потери в скорости» на деле означает: одно слово ответа генерируется 10–30 секунд
Не всего ответа, одного слова. На развёрнутый ответ уйдут минуты, если не десятки минут
И это ещё не всё: первое слово модель выдаёт после четырёх с лишним минут раздумий, потому что движок не умеет запоминать контекст и на каждом шаге перечитывает весь разговор с нуля.
И последнее: модель в такой сборке не умеет вести диалог. Она не отвечает на вопросы как ассистент, а просто продолжает текст, как автодополнение. Спросишь «столица Франции?», получишь не ответ, а продолжение фразы.
То есть цифра «176 килобайт» это размер программы-загрузчика, не самой нейросети
Модель как была, так и осталась размером с половину полки серверной. Приём ровно тот же, что в любой рекламе: взять реальный факт, вырезать условие, при котором он верен, и продать читателю иллюзию «теперь и ты можешь».
Работает это всегда одинаково
Кто-то делает честную инженерную демонстрацию с кучей мелких «но» в документации
Кто-то другой берёт заголовок, отрезает «но», и вирусится с постом «нейросеть теперь запускается на утюге»
Первый ничего не обещал. Второй заработал на невнимательности читателя.
Мысль на будущее: если пост про технологию звучит как «теперь и ты можешь то, что вчера могли только гиганты», ищи, что вырезали
Обычно вырезают ровно ту деталь, которая всё меняет
https://github.com/FareedKhan-dev/kimi-k3-in-c
https://github.com/lyogavin/airllm
Достаточно 8 гигабайт памяти, движок весит 176 килобайт, работает почти без потери качества?
Разберём, что здесь правда, а что классический приём «правда без второй половины».
Правда: такой проект реально существует, его выложил в открытый доступ инженер-энтузиаст, и это честная, качественная инженерная работа
Он действительно заставил модель весом почти в три триллиона параметров считаться на обычном процессоре, без видеокарты и без специальных библиотек.
Штука, которую полгода назад назвали бы фантастикой.
Вот как это работает, без терминов
У модели внутри не один «мозг», а почти 900 узких специалистов
На каждое слово ответа зовут не всех сразу, а только 16 из них: остальные 880 в этот момент просто не нужны
Раньше движки всё равно держали всех специалистов «в комнате», грузили целиком в память
Автор проекта сделал проще: специалисты живут на диске, и в память подтягивается только тот, кого реально позвали
Приём старый как жизнь: не носи с собой весь склад, если тебе нужна одна деталь. Именно это и позволило ужать память с расчётных пяти с половиной терабайт до 8 гигабайт.
Теперь то, что осталось за кадром в вирусном пересказе.
Склад с деталями, все 900 специалистов, должен физически стоять рядом: это полтора терабайта на быстром SSD
Не «где-то в облаке», а на диске твоего собственного компьютера. Это не «слабый ноутбук», это отдельная закупка железа, которая стоит дороже самого ноутбука.
«Почти без потери в скорости» на деле означает: одно слово ответа генерируется 10–30 секунд
Не всего ответа, одного слова. На развёрнутый ответ уйдут минуты, если не десятки минут
И это ещё не всё: первое слово модель выдаёт после четырёх с лишним минут раздумий, потому что движок не умеет запоминать контекст и на каждом шаге перечитывает весь разговор с нуля.
И последнее: модель в такой сборке не умеет вести диалог. Она не отвечает на вопросы как ассистент, а просто продолжает текст, как автодополнение. Спросишь «столица Франции?», получишь не ответ, а продолжение фразы.
То есть цифра «176 килобайт» это размер программы-загрузчика, не самой нейросети
Модель как была, так и осталась размером с половину полки серверной. Приём ровно тот же, что в любой рекламе: взять реальный факт, вырезать условие, при котором он верен, и продать читателю иллюзию «теперь и ты можешь».
Работает это всегда одинаково
Кто-то делает честную инженерную демонстрацию с кучей мелких «но» в документации
Кто-то другой берёт заголовок, отрезает «но», и вирусится с постом «нейросеть теперь запускается на утюге»
Первый ничего не обещал. Второй заработал на невнимательности читателя.
Мысль на будущее: если пост про технологию звучит как «теперь и ты можешь то, что вчера могли только гиганты», ищи, что вырезали
Обычно вырезают ровно ту деталь, которая всё меняет
https://github.com/FareedKhan-dev/kimi-k3-in-c
https://github.com/lyogavin/airllm