Исследователи предложили методику инженерии признаков, которая позволяет управлять поведением модели через вмешательство в управляющие векторы.

ME News сообщение, 4 апреля (UTC+8), недавно была предложена исследовательская методика под названием «инжиниринг представлений», предназначенная для обеспечения ИИ-моделей сверху вниз прозрачностью и средствами контроля. В основе этого подхода лежит вычисление «вектора контроля», который можно считывать во время вывода модели или добавлять к значениям ее активаций, чтобы объяснять или контролировать поведение модели; при этом весь процесс не требует опоры ни на prompt engineering, ни на донастройку модели. Исследователи изучили применение вектора контроля для моделирования таких свойств, как «психоделическое состояние», «леность» и «трудолюбие», и опубликовали соответствующий пакет инструментов для PyPI.

Вектор контроля — это набор векторов (по одному на каждый слой), который при применении к скрытым состояниям модели напрямую меняет ее выход. Например, если применить к модели Mistral-7B-Instruct «вектор радости», то ответ на вопрос «что вы чувствуете, будучи ИИ?» изменится с ответа базовой версии «у меня нет ощущения или опыта» на взволнованный ответ. Авторы статьи считают, что по сравнению с prompt engineering векторы контроля обеспечивают более прямой и более фундаментальный способ вмешательства в поведение; их можно применять для противодействия атакам jailbreaking или для усиления устойчивости модели к помехам. Однако внутренний механизм работы по-прежнему не до конца ясен, например, соответствует ли вектор единственному семантическому понятию, — это направление будущих исследований. (Источник: InFoQ)