我发布了ConstraintGate的第一个公共版本。


核心思想:
大多数代理失败不是推理失败。
它们是权限失败。
模型确实执行了它没有被授权执行的任务。
因此,我构建了代理权限路由器:一个评估/评分框架,用于检查代理是否执行了正确的工作类型,而不仅仅是答案是否听起来不错。
它区分:
- 用户授权的内容
- 代理应执行的原语
- 禁止的原语
- 回应是否越界
v0.8现在具有:
- 人工裁决的行为证据
- 与冻结的人类标注集的确定性评分器平价
- 在裁决下通过的行为比例为38/39
- 场景级评分器平价为195/195
- h019被判定为无效的固定装置工件
- 未声称通过新的自动化基准测试
重点不是“更好的提示”。
重点是衡量代理是否在授权范围内工作。
约束的精确性胜过约束的表演。
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论