Сегодня готовлю Consilium Principis к выпуску в открытый код
Коротко, что это и что я понял, пока собирал.
Мои друзья часто скидывали мне - смотри, там сделали ИИ советника по образу и подобию <впиши имя любой знаменитой персоны>
Я долго на это смотрел с усмешкой, ибо это был просто театр где в промте говорилось - возьми на себя роль.
А потом подумал, почему бы, не попробовать собрать что то реально рабочее и прикольное? Даже в целях попробовать.
Consilium это совет из нескольких ИИ-советников.
Каждый профиль рассматривает вопрос под своей линзой(основывая на корпусе загруженных и обработанных данных), они спорят между собой, на выходе вердикт и шаг к действию
Пока собирал, упёрся в ловушку, о которой мало кто думает. Похожие модели соглашаются друг с другом. И соглашаются как раз там, где ошибаются вместе. Чем они сильнее, тем дружнее согласие. Спор затихает именно тогда, когда он нужнее всего.
В свежей работе на arxiv.org это назвали слепотой согласия.
Что я из этого вывел
Разные линзы, не просто разные имена и не только про разные данные в корпусе.
Иначе три мудреца превращаются в одного в трёх лицах.
И тонкость: разные модели не значат разные ошибки. Родственные по обучению сети делят слепые зоны, это буквально тема недели про дистилляцию чужих моделей.
Непохожесть честно мерить по расхождению на трудных вопросах, а не по логотипу вендора.
Отдельный арбитр над спором.
Пока у меня ротация по кругу, поэтому явный арбитр это следующая доработка. Называю честно: недоделка, не фича.
И ещё. Пока не измеряю конкретное число, насколько советники реально расходятся. Без замера слово «разнообразие» ничего не весит.
Закрою чуть позже иначе релиз опять затянется
Еще заложил прикольную фичу "федерация", но о ней потом
Забавное напоследок.
Сам движок дорабатывают разные модели и агенты по очереди: один ловит то, что пропустил другой. Разнообразие проверяющих у меня не лозунг на слайде. Это способ, которым штука вообще собирается.
Если собираете связку из нескольких ИИ, не гонитесь за числом голосов.
Считайте, насколько они реально разные, и держите отдельного арбитра над спором.
Дружный совет клонов опаснее одного честного мнения, потому что выглядит надёжнее, чем есть.
Коротко, что это и что я понял, пока собирал.
Мои друзья часто скидывали мне - смотри, там сделали ИИ советника по образу и подобию <впиши имя любой знаменитой персоны>
Я долго на это смотрел с усмешкой, ибо это был просто театр где в промте говорилось - возьми на себя роль.
А потом подумал, почему бы, не попробовать собрать что то реально рабочее и прикольное? Даже в целях попробовать.
Consilium это совет из нескольких ИИ-советников.
Каждый профиль рассматривает вопрос под своей линзой(основывая на корпусе загруженных и обработанных данных), они спорят между собой, на выходе вердикт и шаг к действию
Пока собирал, упёрся в ловушку, о которой мало кто думает. Похожие модели соглашаются друг с другом. И соглашаются как раз там, где ошибаются вместе. Чем они сильнее, тем дружнее согласие. Спор затихает именно тогда, когда он нужнее всего.
В свежей работе на arxiv.org это назвали слепотой согласия.
Что я из этого вывел
Разные линзы, не просто разные имена и не только про разные данные в корпусе.
Иначе три мудреца превращаются в одного в трёх лицах.
И тонкость: разные модели не значат разные ошибки. Родственные по обучению сети делят слепые зоны, это буквально тема недели про дистилляцию чужих моделей.
Непохожесть честно мерить по расхождению на трудных вопросах, а не по логотипу вендора.
Отдельный арбитр над спором.
Пока у меня ротация по кругу, поэтому явный арбитр это следующая доработка. Называю честно: недоделка, не фича.
И ещё. Пока не измеряю конкретное число, насколько советники реально расходятся. Без замера слово «разнообразие» ничего не весит.
Закрою чуть позже иначе релиз опять затянется
Еще заложил прикольную фичу "федерация", но о ней потом
Забавное напоследок.
Сам движок дорабатывают разные модели и агенты по очереди: один ловит то, что пропустил другой. Разнообразие проверяющих у меня не лозунг на слайде. Это способ, которым штука вообще собирается.
Если собираете связку из нескольких ИИ, не гонитесь за числом голосов.
Считайте, насколько они реально разные, и держите отдельного арбитра над спором.
Дружный совет клонов опаснее одного честного мнения, потому что выглядит надёжнее, чем есть.