26%-54% taxa de erro indicam que o modelo sabe o que fazer, mas o corpo não acompanha, a metáfora de rotação de sinal é ótima

Esta pesquisa de interpretabilidade foca em ferramentas de agentes, revelando que, embora o modelo possa identificar a necessidade de chamar uma ferramenta, a chamada real falha, com uma taxa de erro de 26%-54%.
O problema está na fase de conversão do reconhecimento para a ação, não na cognição em si.
Sinais internos podem ser decodificados, mas o mecanismo de tokens finais na camada posterior causa rotação dos sinais, tornando-os quase ortogonais à ação.
O objetivo do estudo é prever o efeito de intervenções, apontando que atribuições como prompts ou treinamento insuficiente podem ignorar a estrutura geométrica das camadas posteriores, explicando assim o limite de desempenho em testes A/B de uso de ferramentas.