26%-54% tingkat ketidaksesuaian menunjukkan bahwa model tahu apa yang harus dilakukan tetapi tubuhnya tidak mengikuti, analogi rotasi sinyal ini sangat brilian

Penelitian interpretabilitas ini berfokus pada alat proxy, mengungkapkan bahwa meskipun model dapat mengenali alat yang harus dipanggil, panggilan sebenarnya sering gagal, dengan tingkat ketidakcocokan mencapai 26%-54%. Masalah terkonsentrasi pada tahap konversi dari pengenalan ke tindakan, bukan pada aspek non-kognitif itu sendiri. Sinyal internal dapat didekode, tetapi mekanisme token akhir di lapisan terakhir menyebabkan rotasi sinyal, hampir ortogonal terhadap tindakan. Penelitian ini bertujuan untuk memprediksi efektivitas intervensi, menunjukkan bahwa atribusi seperti prompt atau pelatihan yang tidak memadai mungkin mengabaikan struktur geometris lapisan akhir, sehingga menjelaskan batas atas kinerja pengujian A/B penggunaan alat.