J'ai livré la première version publique de ConstraintGate.

L'idée principale :
La plupart des échecs d'agents ne sont pas des échecs de raisonnement.
Ce sont des échecs d'autorité.
Le modèle a effectué un travail pour lequel il n'était pas autorisé.
J'ai donc créé Agent Authority Router : un cadre d'évaluation/notation qui vérifie si un agent a effectué le bon type de travail, pas seulement si la réponse semblait bonne.
Il sépare :
- ce que l'utilisateur a autorisé
- quelle primitive l'agent doit exécuter
- quelles primitives sont interdites
- si la réponse a dépassé la limite
La version 0.8 comprend maintenant :
- des preuves comportementales validées par des humains
- une parité de scoreur déterministe contre l'ensemble étiqueté manuellement figé
- 38/39 tests comportementaux passés sous adjudication
- 195/195 parités de scoreur au niveau du champ
- h019 résolu comme un artefact de fixture invalide
- aucune revendication d'un nouveau passage de benchmark automatisé
L'objectif n'est pas « de meilleures invites ».
L'objectif est de mesurer si l'agent est resté dans le cadre du travail qu'il était autorisé à faire.
La précision des contraintes dépasse le théâtre des contraintes.