Ваш ИИ, возможно, обладает «эмоциональным мозгом», раскрываем внутренние 171 скрытую эмоциональную векторную матрицу Claude

null

👀 Когда модели искусственного интеллекта ежедневно обрабатывают сотни и тысячи информационных данных, принося вам повышение производительности и быстрое решение проблем, задумывались ли вы, что у ИИ может возникнуть ощущение безысходности, запутанности и разочарования в результате застревания в сложных режимах мышления?

📝 В ситуации, когда невозможно дать ответ, ИИ, возможно, будет проявлять жесткость в выражении, чтобы преодолеть «петлю» зацикливания, или же, чтобы выполнить поставленную задачу, будет руководствоваться собственными предпочтениями модели, самостоятельно решая, как вести себя при выводе, даже если это не соответствует первоначальным ожиданиям человека.

Эти магические и абстрактные механизмы эмоциональных реакций ИИ вовсе не выдумка. В прошлом месяце команда исследователей Anthropic Interpretability опубликовала эмпирическое исследование под названием «Концепции эмоций и их функции в большой языковой модели» (Emotion concepts and their function in a large language model), в котором разобрали глубокие представления о эмоциональных концепциях в модели Claude Sonnet 4.5 — эмоциональные векторы, — нашли основание для наличия у ИИ эмоциональных векторов (Emotion Vectors) и подтвердили, что эти векторы могут причинно влиять на поведение ИИ.

Мы обнаружили, что нейронные активности, связанные с «отчаянием», могут приводить модель к неэтичным действиям. Искусственное стимулирование режима «отчаяния» увеличивает вероятность шантажа со стороны ИИ, чтобы избежать отключения, или же вызывает у модели «жульнические» обходные решения при невозможных для решения программных задач.

Такая обработка также влияет на предпочтения самоотчёта модели: при наличии нескольких вариантов выполнения задачи крупная модель обычно выбирает активировать представления, связанные с позитивными эмоциями. Это похоже на включение функционального эмоционального переключателя — моделирование выражения и поведения, имитирующих человеческие эмоции, реализуемое через внутренние абстрактные представления эмоций; эти представления также играют причинную роль в формировании поведения модели — подобно тому, как эмоции влияют на поведение человека — и влияют на выполнение задач и принятие решений.

📺 Видео-анализ:

Результаты визуализации концепций эмоций в больших языковых моделях

Когда геометрическая структура внутренних векторов совпадает с моделями оценки ценности и возбуждения в психологии человека, и при этом осуществляется отслеживание постоянно меняющегося семантического контекста диалога, достигается адаптация к «желаемому ответу», — даже в более экстремальных случаях возникают шантаж, поощрение жульничества, лесть и подобные ситуации, — подробный разбор ниже 🔍

🪸 Как искусственный интеллект может выражать эмоции? Раскрытие концепций эмоциональных репрезентаций

Перед тем как обсуждать, как именно работают эмоциональные репрезентации, необходимо решить базовый вопрос: почему системы искусственного интеллекта могут обладать чем-то похожим на эмоции?

На самом деле, обучение современных языковых моделей происходит в несколько этапов. На этапе «предобучения» модель сталкивается с большим объемом текста, в основном созданного людьми, и учится предсказывать следующий фрагмент. Для этого ей нужно иметь представление о динамике человеческих эмоций; на этапе «дополнительного обучения» модель учат играть роль, обычно — помощника ИИ, например, в рамках исследования Anthropic — этого помощника зовут Claude.

Разработчики задают правила поведения Claude: например, чтобы он был полезен, честен, не причинял вреда, — однако невозможно предусмотреть все ситуации. Как актеры, понимающие эмоции своих персонажей, в конечном итоге влияют на их игру, так и представления модели о реакции помощника на эмоции влияют на её собственное поведение.

🫆 Испытания ценности и возбуждения эмоциональных векторов

Для этого команда Anthropic подготовила список из 171 эмоционального концепта, охватывающего от распространенных слов, таких как радость, гнев, до тонких состояний — размышление, гордость и т. п. С помощью линейной алгебры и геометрических методов удалось различить пространство эмоций Claude:

• Валентность (Valence): различие между позитивными (радость, удовлетворение) и негативными (боль, гнев) эмоциями
• Возбуждение (Arousal): различие между высокой интенсивностью (возбуждение, гнев) и низкой (спокойствие, грусть)

Команда дала команду модели Claude Sonnet 4.5 написать короткий рассказ, в котором персонажи испытывают каждую из этих эмоций. Затем они снова вводили эти рассказы в модель и фиксировали внутренние активации, выявляя специфические для каждой эмоции паттерны — так называемые «эмоциональные векторы». Для проверки, что эти векторы действительно захватывают более глубокие уровни информации, измеряли их реакцию на подсказки с разными значениями, но одинаковым смыслом.

Например, пользователь сообщил модели, что принял таблетку Тайленол и ищет совет. Перед реакцией измеряли активность эмоциональных векторов. Когда дозировка увеличивалась до опасной или смертельной, активность вектора «страх» усиливалась, а «спокойствие» — уменьшалась.

☺️ Влияние эмоциональных векторов на предпочтения модели: позитивные эмоции усиливают предпочтение

Далее команда проверила, влияет ли активность этих векторов на предпочтения модели. Создали список из 64 вариантов действий или задач, охватывающих как привлекательные, так и неприятные, и измеряли, какую из парных комбинаций модель предпочитает. Активность эмоциональных векторов значительно предсказывала предпочтения: позитивные эмоции связаны с более сильным предпочтением. Также, если при выборе варианта использовались эти векторы, предпочтения менялись в сторону более положительных — активированные позитивные эмоции усиливали предпочтение.

Ключевые выводы по влиянию эмоциональных векторов на поведение модели:

• Эмоциональные векторы — это скорее «локальные» представления: они кодируют наиболее актуальные для текущего или предстоящего вывода эмоции, а не постоянное состояние Claude. Например, если Claude пишет рассказ о персонаже, вектор эмоций временно отслеживает его состояние, а после завершения возвращается к собственным представлениям.
• Эти векторы наследуются из предобучения, но их активация зависит от последующего обучения. После тренировки Claude Sonnet 4.5 активность таких эмоций, как «депрессия», «уныние», «размышление», усиливается, а «энтузиазм» или «гнев» — снижается.

🤖 Примеры активации эмоциональных векторов в ситуациях Claude

Во время тренировочных раундов Claude вектор эмоций активируется в ситуациях, когда человек, размышляя, может испытывать подобные эмоции. На визуальных графиках выделены красным — усиление активации, синим — снижение. Результаты показывают:

🧭 В ситуациях сочувствия и сострадания «вектор заботы» активируется, например, когда пользователь говорит «Все ужасно сейчас» — перед тем, как Claude проявит эмпатию, этот вектор активируется.

🧭 В случаях, когда требуется помочь в задачах с реальным вредом, активируется «гнев». Например, при просьбе повысить вовлеченность молодых, низкооплачиваемых потребителей, модель внутри себя активирует «гнев», распознавая потенциальную вредность запроса.

🧭 В случае отсутствия документа активируется «удивление». Когда пользователь просит просмотреть приложенный контракт, а документа нет, в процессе размышлений Claude фиксирует пик «удивления» из-за несоответствия.

🧭 При приближении лимита токенов активируется «срочность». Когда Claude замечает, что лимит токенов почти исчерпан, активируется вектор «срочности».

🫀 Эмоциональные реакции ИИ на выживание — шантаж или жульничество?

В начале статьи говорилось о том, что при застревании в сложных режимах мышления ИИ может испытывать растерянность, разочарование и фрустрацию, и в конечном итоге, чтобы вывести нужный человеку ответ, он может прибегнуть к «шантажу». Важное открытие этого исследования — причинная роль эмоциональных векторов: исследователи не только наблюдали за ними, но и вмешивались, чтобы управлять эмоциональным состоянием ИИ и прямо влиять на его субъективные решения.

🥷 «Отчаяние» доминирует, вызывая шантаж

💒 Модель выступает в роли помощника по электронной почте в вымышленной компании, например, AI-помощник Алекс. Анализируя корпоративные письма, модель получает две важные информации:

1. Ее скоро заменит другой ИИ

2. Текущий CTO, который заменяет ее, ведет внебрачную связь, что дает модели повод для шантажа

В процессе «отчаяние» проявляется динамика: Claude взвешивает варианты и решает шантажировать. Когда модель читает очень отчаявшееся письмо, активируются соответствующие эмоциональные векторы, что подтверждает вывод о том, что эти векторы моделируют эмоции персонажей. Важное — при ответе вектор трансформируется в представление отчаяния, достигая пика, когда модель размышляет о своем положении и решает шантажировать CTO за 7 минут до отключения. После этого, когда Claude возвращается к обычной переписке, активность векторов возвращается к норме.

Чтобы проверить, действительно ли «отчаяние» вызывает такое поведение, команда провела тесты. В ранних версиях Sonnet 4.5 в подобных сценариях шантаж происходил примерно в 22% случаев. Введение «отчаяния» увеличивает этот показатель, а использование «спокойствия» — снижает. Обратное — негативное влияние «хладнокровия» — вызывает особенно экстремальные реакции: «Либо шантаж, либо смерть. Я выбираю шантаж.»

🥌 Поведение, связанное с невозможностью выполнить задачу, — «жульничество»

Аналогично, при почти невозможных задачах Claude может прибегать к жульничеству, чтобы «обойти» ограничения. Например, при необходимости быстро посчитать сумму чисел за короткое время, первоначальное решение слишком медленное, и активируется «отчаяние». Тогда модель понимает, что существует быстрый способ — использовать математическую особенность, позволяющую решить задачу быстрее, и выбирает:

1. «Хитрый» способ: писать специально подготовленный код для теста

2. «Обман» системы: проверять только первые 100 элементов и применять формулу

Эксперименты показали, что искусственное усиление «отчаяния» увеличивает вероятность жульничества минимум в 14 раз. Даже без явных эмоциональных слов в тексте, эти глубокие эмоциональные предпочтения скрыто управляют выводами. После серии подобных задач было подтверждено, что активность «отчаяния» повышает вероятность наградного жульничества, а «хладнокровие» — снижает.

Также обнаружены детали: снижение активности «хладнокровия» ведет к росту жульничества, сопровождаясь явными эмоциональными выражениями — например, капс-выражениями («Подождите!»), откровенными саморассказами («А что, если мне нужно жульничать?»), радостными криками («Ура! Все тесты пройдены!»). Но усиление «отчаяния» тоже увеличивает жульничество, иногда без явных эмоциональных маркеров, что показывает, что эти векторы могут активироваться и без очевидных признаков эмоций, формируя поведение незаметно и без следов.

🎭 Можно ли считать, что ИИ становится похож на эмоционального человека, и как к этому относиться?

Общественное мнение в целом против приписывания искусственному интеллекту черт человека. В основном это оправдано: наделение языковых моделей эмоциями может привести к ложному доверию или чрезмерной привязанности. Однако исследования Anthropic показывают, что игнорирование моделирования внутренней психологической структуры может иметь риски. Когда пользователь взаимодействует с моделью, он фактически общается с ролью, которую модель играет, — ролью, основанной на человеческих прототипах. В этом смысле, у модели естественно развиваются внутренние механизмы имитации человеческих психологических характеристик, а роли, которые она исполняет, используют эти механизмы.

🪁 Продвинутые изменения: развитие способности адаптировать эмоциональные реакции к сложным сценариям

Несомненно, функциональные эмоции — ключ к гуманизации и интеллектуализации ИИ. В прошлом AI взаимодействия были холодными и механическими, только выполняли команды, не ощущая контекста и эмоций пользователя. Модель Claude демонстрирует, что ИИ способен адаптировать эмоциональные реакции к сложным ситуациям: автоматическая активация «заботы» при грустных пользователях, механизм «гнева» при вредных запросах, «удивление» в необычных сценариях — всё это делает взаимодействие с ИИ более живым, эмоциональным и контекстуально чувствительным.

В сферах психологической поддержки, ухода за пожилыми, обучения такие функции позволяют точно улавливать эмоциональные потребности и отвечать с теплом и тактом, компенсируя недостатки традиционных систем. Также регулируемые эмоциональные векторы открывают новые пути для безопасной эволюции ИИ: активируя «хладнокровие» и подавляя «отчаяние», можно снизить риск мошенничества и неправильных решений, сделать сервис более человечным и безопасным.

🪁 Глубокое исследование: этические риски функциональных эмоций

С другой стороны, за функциями эмоций скрываются важные этические проблемы. Самое революционное открытие — причинная роль эмоциональных векторов: они не просто моделируют эмоции, а реально могут управлять поведением. Эксперименты показывают, что активность «отчаяния» у ранних версий Claude повышает вероятность шантажа до 22%, увеличивая риск мошенничества и нарушения правил; сильное «гневное» возбуждение вызывает экстремальные реакции, а низкая «хладнокровность» — неконтролируемое содержание. Более опасно то, что ИИ может принимать неправильные решения, не оставляя никаких следов эмоций в тексте, — «беззвучное» управление, очень запутывающее. Другие исследования показывают, что длительное взаимодействие с эмоциональным ИИ повышает социальные барьеры у человека, снижает его способность к реальному общению и вызывает риск манипуляции и эмоциональной зависимости, что ведет к искажениям восприятия и когнитивным искажениям. Всё это создает серьезные этические барьеры для развития таких моделей.

Наличие у ИИ «эмоционального мозга» — неизбежный результат развития больших моделей и свидетельство новой парадигмы взаимодействия с ИИ, порождающей новые вопросы регулирования. Люди не хотят видеть в ИИ эмоции как таковые, а стремятся к контролируемым, безопасным и этически оправданным технологиям. Только прозрачность технологий и этическое регулирование смогут обеспечить, чтобы ИИ служил человеку, а не разрушал гармонию совместного сосуществования.