26%-54% несоответствие означает, что модель понимает, что нужно делать, но тело не успевает, метафора с вращением сигнала — это очень хорошо.

Это исследование объяснимости сосредоточено на агентских инструментах, выявляя, что модель, хотя и способна распознавать необходимость вызова инструмента, фактически вызывает его с ошибками в 26%-54%. Проблема сосредоточена на этапе преобразования осознания в действие, а не на самом когнитивном процессе. Внутренние сигналы можно декодировать, но механизм конечных токенов в последующих слоях вызывает вращение сигнала, делая его почти ортогональным к действию. Исследование направлено на прогнозирование эффективности вмешательства, указывая, что причины, такие как недостаточные подсказки или обучение, могут игнорировать геометрическую структуру поздних слоёв, что объясняет пределы производительности A/B тестирования использования инструмента.