26%-54% de taxa de desajuste indicam que o modelo sabe o que deve fazer, mas não consegue, e a lacuna entre o reconhecimento e a ação é mais profunda do que se imagina.

Esta pesquisa de interpretabilidade foca em ferramentas de agentes, revelando que embora o modelo possa identificar a necessidade de chamar uma ferramenta, a chamada real falha, com uma taxa de erro de 26%-54%. O problema concentra-se na fase de conversão do reconhecimento para a ação, não na cognição em si. Sinais internos podem ser decodificados, mas o mecanismo final de tokens das camadas posteriores causa rotação dos sinais, tornando-os quase ortogonais à ação. O objetivo do estudo é prever o efeito de intervenções, apontando que causas como prompts ou treinamento insuficiente podem ignorar a estrutura geométrica das camadas posteriores, explicando assim o limite de desempenho dos testes A/B no uso de ferramentas.