私はConstraintGateの最初の公開バージョンをリリースしました。

コアアイデア：
ほとんどのエージェントの失敗は推論の失敗ではありません。
それは権限の失敗です。
モデルは行うべきではなかったことを行いました。
そこで、エージェントの権限ルーターを作成しました：エージェントが正しい種類の作業を行ったかどうかをチェックする評価/スコアリングフレームワークであり、回答が良さそうに聞こえるだけではありません。
それは次のことを分離します：
- ユーザーが許可したこと
- エージェントが実行すべきプリミティブ
- 禁止されたプリミティブ
- 応答が境界を越えたかどうか
v0.8には次のものがあります：
- 人間による裁定付きの行動証拠
- 固定された人間ラベル付けセットに対する決定論的スコアラーのパリティ
- 裁定下での行動の合格率38/39
- フィールドレベルのスコアラーのパリティ195/195
- h019は無効な固定具アーティファクトとして解決
- 新しい自動化されたベンチマークの合格を主張しない
ポイントは「より良いプロンプト」ではありません。
ポイントは、エージェントが許可された範囲内で作業を続けたかどうかを測定することです。
制約の精度は制約の演劇に勝ります。