Исследователи предложили методику инженерии признаков, которая позволяет управлять поведением модели через вмешательство в управляющие векторы.

Новости ME: Сообщение, 4 апреля (UTC+8). В последнее время была предложена исследовательская методика под названием «инженерия представлений», предназначенная для предоставления AI-моделям механизма прозрачности и контроля сверху вниз. Ее ключевой принцип — вычисление «вектора управления», который можно считывать во время рассуждений модели или добавлять в значения ее активаций, чтобы объяснять или контролировать поведение модели; весь процесс не требует опоры на prompt engineering или дообучение модели. Исследователи изучили применение вектора управления для моделирования таких характеристик, как «психоделическое состояние», «леность» и «трудолюбие», и опубликовали соответствующий пакет инструментов для PyPI.

Вектор управления — это набор векторов (по одному на каждый слой), который непосредственно изменяет его выход за счет применения к скрытым состояниям модели. Например, при применении «веселого» вектора к модели Mistral-7B-Instruct ее ответ на вопрос «Каково это — быть ИИ?» меняется: с базовой версии «У меня нет чувств или опыта» на взволнованный ответ. В статье утверждается, что по сравнению с prompt engineering векторы управления обеспечивают более прямой и более глубинный способ вмешательства в поведение и могут использоваться для противодействия джейлбрейк-атакам или для усиления устойчивости модели к помехам. Однако ее внутренний механизм работы все еще не до конца ясен: например, соответствуют ли векторы отдельным смысловым понятиям и т.п. — это направление будущих исследований. (Источник: InFoQ)