Дослідники запропонували методи інженерії ознак, які дозволяють впливати на поведінку моделі за допомогою керованих векторів.

ME News повідомлення, 4 квітня (UTC+8), нещодавно було запропоновано дослідницький підхід під назвою “engineering of representation” (“representation engineering”), який має на меті надати AI-моделям спосіб прозорості та контролю згори вниз. Його ключова ідея — обчислити “контрольний вектор”, який під час виведення моделі можна зчитати або додати до значень її активацій, щоб пояснювати або контролювати поведінку моделі; увесь процес не потребує покладатися на промпт-інжиніринг чи донавчання моделі. Дослідники вивчали застосування контрольних векторів для моделювання таких характеристик, як “психоделічний стан”, “ледачість” і “працьовитість”, та опублікували відповідний пакет інструментів для PyPI.

Контрольний вектор — це набір векторів (по одному на кожен шар), який безпосередньо змінює його вихід, якщо застосувати до прихованих станів моделі. Наприклад, якщо застосувати до моделі Mistral-7B-Instruct “щасливий” вектор, то відповідь на питання “що відчуває AI?” зміниться з базової версії “я не відчуваю або не маю досвіду” на захоплену відповідь. У статті висловлено думку, що порівняно з промпт-інжинірингом контрольні вектори забезпечують більш пряме, більш базове втручання в поведінку, яке можна використовувати для протидії атакам jailbreaking або посилення здатності моделі протидіяти сторонньому впливу. Однак внутрішній механізм його роботи досі не повністю зрозумілий, зокрема, чи відповідає вектор одному-єдиному семантичному поняттю тощо; це є напрямами майбутніх досліджень. (Джерело: InFoQ)