Un taux de discordance de 26 % à 54 % indique que le modèle sait ce qu'il doit faire mais ne peut pas le faire, la fracture entre la cognition et l'action est plus profonde qu'on ne l'imagine.

Cette étude sur l'interprétabilité se concentre sur les outils d'agents, révélant que bien que le modèle puisse identifier le besoin d'utiliser un outil, l'appel réel échoue, avec un taux de discordance de 26 % à 54 %. Le problème se concentre sur la phase de conversion de la cognition à l'action, et non sur la cognition elle-même. Les signaux internes peuvent être décodés, mais le mécanisme final de jetons de la couche ultérieure entraîne une rotation des signaux, presque orthogonale à l'action. La recherche vise à prédire l'efficacité des interventions, en soulignant que des causes telles que des prompts ou une formation insuffisants peuvent négliger la structure géométrique des couches ultérieures, ce qui explique le plafond de performance observé dans les tests A/B de l'utilisation des outils.