Les chercheurs ont proposé une méthode d'ingénierie de caractéristiques, en intervenant sur le comportement du modèle via des vecteurs de contrôle.

Nouvelles ME, message du 4 avril (UTC+8). Récemment, une méthode de recherche appelée « ingénierie de représentation » a été proposée. Elle vise à fournir aux modèles d’IA un moyen de transparence et de contrôle de haut en bas. Le cœur de cette méthode est le calcul d’un « vecteur de contrôle », qui peut être lu pendant l’inférence du modèle ou ajouté aux valeurs d’activation du modèle, afin d’expliquer ou de contrôler le comportement du modèle. Tout le processus ne dépend d’aucune ingénierie de prompt ni d’un ajustement fin du modèle. Les chercheurs ont exploré l’application des vecteurs de contrôle pour simuler des caractéristiques comme « l’état psychédélique », la « paresse » et la « diligence », et ont publié le kit d’outils PyPI correspondant.

Le vecteur de contrôle est un ensemble de vecteurs (un par couche) qui modifient directement sa sortie en appliquant ces vecteurs aux états cachés du modèle. Par exemple, lorsqu’on applique au modèle Mistral-7B-Instruct un vecteur « heureux », la réponse à la question « À quoi ressemble le fait d’être une IA ? » passe de la formulation du modèle de base « Je n’ai pas de sentiments ni d’expériences » à une réponse enthousiaste. L’article estime que, par rapport à l’ingénierie de prompt, les vecteurs de contrôle offrent une manière d’intervenir dans le comportement plus directe et plus en profondeur, et peuvent être utilisés pour contrer des attaques de jailbreak ou renforcer la capacité du modèle à résister aux interférences. Cependant, le mécanisme interne de fonctionnement reste encore imparfaitement compris : par exemple, le vecteur correspond-il à un concept sémantique unique, etc. Il s’agit d’une direction de recherche future. (Source : InFoQ)