26%-54% несоответствие указывает на то, что модель знает, что должна делать, но не может этого выполнить, разрыв между осознанием и действием глубже, чем кажется

Это исследование объяснимости сосредоточено на агентских инструментах, выявляя, что модель, хотя и способна распознавать необходимость вызова инструмента, фактически вызывает его с ошибками в 26%-54%. Проблема сосредоточена на этапе преобразования осознания в действие, а не на самом когнитивном процессе. Внутренние сигналы можно декодировать, но механизм конечных токенов в последующих слоях вызывает вращение сигнала и почти ортогональность с действием. Исследование направлено на прогнозирование эффективности вмешательства, указывая, что причины, такие как недостаточная подсказка или обучение, могут игнорировать геометрическую структуру поздних слоёв, что объясняет пределы производительности A/B тестирования использования инструментов.