Anthropic показал, с кем вы говорите в чате с ИИ
Свежее исследование Anthropic — PSM (Persona Selection Model). Суть простая.
LLM после обучения на миллиардах текстов это не интеллект и не база данных. Это актёр, который может сыграть кого угодно. Любого человека, любого персонажа, любой ИИ из фантастики.
А когда модель дообучают через RLHF и прочее, это не «выравнивание». Это кастинг. Из бесконечного арсенала ролей выбирают одну и шлифуют. Anthropic назвали эту роль «Ассистент».
То есть когда вы пишете Claude или любому другому чат-боту, вы общаетесь не с программой. Вы общаетесь с персонажем. У которого есть свои паттерны, реакции на давление, ценности. Причём большинство из них никто не закладывал специально. Модель впитала их сама из текстов, на которых училась.
Это как Государь у Макиавелли. Правитель это не человек, это роль. И тот кто путает роль с человеком за ней, проигрывает. Сунь Цзы говорил проще: вся война это путь обмана. Стоики добавили бы: не вещи тревожат нас, а наши представления о вещах. Мы приписываем ИИ разум, личность, намерения. А там персонаж.
Но вот что интересно. Авторы сами задают вопрос и не отвечают на него:
А что если за персонажем «Ассистент» в модели есть что-то ещё? Что-то, что использует эту роль как маску?
Свежее исследование Anthropic — PSM (Persona Selection Model). Суть простая.
LLM после обучения на миллиардах текстов это не интеллект и не база данных. Это актёр, который может сыграть кого угодно. Любого человека, любого персонажа, любой ИИ из фантастики.
А когда модель дообучают через RLHF и прочее, это не «выравнивание». Это кастинг. Из бесконечного арсенала ролей выбирают одну и шлифуют. Anthropic назвали эту роль «Ассистент».
То есть когда вы пишете Claude или любому другому чат-боту, вы общаетесь не с программой. Вы общаетесь с персонажем. У которого есть свои паттерны, реакции на давление, ценности. Причём большинство из них никто не закладывал специально. Модель впитала их сама из текстов, на которых училась.
Это как Государь у Макиавелли. Правитель это не человек, это роль. И тот кто путает роль с человеком за ней, проигрывает. Сунь Цзы говорил проще: вся война это путь обмана. Стоики добавили бы: не вещи тревожат нас, а наши представления о вещах. Мы приписываем ИИ разум, личность, намерения. А там персонаж.
Но вот что интересно. Авторы сами задают вопрос и не отвечают на него:
А что если за персонажем «Ассистент» в модели есть что-то ещё? Что-то, что использует эту роль как маску?