26%-54% tingkat ketidaksesuaian menunjukkan bahwa model tahu apa yang harus dilakukan tetapi tidak bisa melakukannya, kesenjangan antara pengetahuan dan tindakan lebih dalam dari yang dibayangkan

Penelitian tentang interpretabilitas ini berfokus pada alat agen, mengungkapkan bahwa meskipun model mampu mengenali alat yang harus dipanggil, panggilan sebenarnya sering gagal, dengan tingkat ketidakcocokan mencapai 26%-54%. Masalah terkonsentrasi pada tahap konversi dari pengenalan ke tindakan, bukan pada aspek non-kognitif itu sendiri. Sinyal internal dapat didekodekan, tetapi mekanisme token akhir di lapisan terakhir menyebabkan rotasi sinyal, hampir ortogonal terhadap tindakan. Penelitian ini bertujuan untuk memprediksi efektivitas intervensi, menunjukkan bahwa atribusi seperti kurangnya prompt atau pelatihan mungkin mengabaikan struktur geometris lapisan akhir, sehingga menjelaskan batas performa pengujian A/B penggunaan alat.