Lancé la primera versión pública de ConstraintGate.


La idea principal:
La mayoría de las fallas de los agentes no son fallas de razonamiento.
Son fallas de autoridad.
El modelo funcionó, pero no estaba autorizado a hacerlo.
Por eso construí Agent Authority Router: un marco de evaluación/calificación que verifica si un agente hizo el tipo correcto de trabajo, no solo si la respuesta sonaba bien.
Separa:
- lo que el usuario autorizó
- qué primitiva debe realizar el agente
- qué primitivas están prohibidas
- si la respuesta cruzó el límite
v0.8 ahora tiene:
- evidencia de comportamiento evaluada por humanos
- paridad de puntuación determinista contra el conjunto congelado etiquetado por humanos
- 38/39 pruebas de comportamiento aprobadas bajo evaluación
- 195/195 paridad de puntuación a nivel de campo
- h019 resuelto como un artefacto de fixture inválido
- sin afirmación de una nueva prueba automatizada superada
El punto no es “mejores indicaciones”.
El punto es medir si el agente se mantuvo dentro del trabajo para el que fue autorizado.
La precisión en las restricciones supera al teatro de las restricciones.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Fijado