El índice de desajuste del 26%-54% indica que el modelo sabe qué debe hacer pero no puede hacerlo, la brecha entre el conocimiento y la acción es más profunda de lo que se imagina.

Ver original
MeNews
Estudio del mecanismo de desconexión entre el conocimiento y la acción en el uso de herramientas y proxies
Esta investigación sobre interpretabilidad se centra en herramientas de agentes, revelando que aunque el modelo puede identificar cuándo llamar a una herramienta, en la práctica falla en la llamada, con una tasa de error del 26% al 54%.
El problema se concentra en la etapa de conversión del conocimiento a la acción, no en el conocimiento en sí.
Las señales internas pueden ser decodificadas, pero el mecanismo final de tokens en las capas posteriores provoca una rotación de señales, casi ortogonal a la acción.
El estudio busca predecir el efecto de las intervenciones, señalando que atribuciones como instrucciones o entrenamiento insuficiente pueden ignorar la estructura geométrica de las capas posteriores, explicando así el límite de rendimiento en pruebas A/B del uso de herramientas.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado