Menyadari bahwa kesenjangan antara pengetahuan dan tindakan lebih dalam dari yang dibayangkan, struktur geometri lapisan belakang adalah plafon tersembunyi

Penelitian interpretabilitas ini berfokus pada alat proxy, mengungkapkan bahwa meskipun model dapat mengenali alat yang harus dipanggil, panggilan sebenarnya sering gagal, dengan tingkat ketidakcocokan mencapai 26%-54%. Masalah terkonsentrasi pada tahap konversi dari pengenalan ke tindakan, bukan pada aspek non-kognitif itu sendiri. Sinyal internal dapat didekode, tetapi mekanisme token akhir di lapisan terakhir menyebabkan rotasi sinyal, hampir ortogonal terhadap tindakan. Penelitian ini bertujuan untuk memprediksi efektivitas intervensi, menunjukkan bahwa atribusi seperti prompt atau pelatihan yang tidak memadai mungkin mengabaikan struktur geometris lapisan akhir, sehingga menjelaskan batas atas kinerja pengujian A/B penggunaan alat.