26%-54% taux de désalignement indique que le modèle sait ce qu'il doit faire mais que le corps ne suit pas, la métaphore de la rotation du signal est trop brillante

Cette étude sur l'interprétabilité se concentre sur les outils d'agents, révélant que bien que le modèle puisse identifier le besoin d'utiliser un outil, l'appel réel échoue, avec un taux de discordance de 26 % à 54 %. Le problème se concentre sur la phase de conversion de la cognition à l'action, et non sur la cognition elle-même. Les signaux internes peuvent être décodés, mais le mécanisme de jetons final de la couche ultérieure entraîne une rotation des signaux, presque orthogonale à l'action. La recherche vise à prédire l'efficacité des interventions, en soulignant que des causes telles qu'un prompt ou une formation insuffisants peuvent négliger la structure géométrique des couches ultérieures, expliquant ainsi la limite de performance des tests A/B sur l'utilisation des outils.