Я выпустил первую публичную версию ConstraintGate.


Основная идея:
Большинство сбоев агента — это не сбои в рассуждениях.
Они связаны с недостатком полномочий.
Модель работала, но ей не разрешили это делать.
Поэтому я создал Agent Authority Router: систему оценки/скрининга, которая проверяет, выполнял ли агент правильную работу, а не только звучит ли ответ хорошо.
Она разделяет:
- что разрешено пользователю
- какую примитивную задачу должен выполнить агент
- какие примитивы запрещены
- пересек ли ответ границу
v0.8 теперь включает:
- доказательства поведения, подтвержденные человеком
- детерминированный показатель сравнения с зафиксированным набором, размеченным человеком
- 38/39 прохождений поведения под adjudication
- 195/195 соответствий на уровне поля с оценщиком
- h019 решена как недопустимый артефакт фикстуры
- никаких заявлений о прохождении нового автоматизированного бенчмарка
Главное не «лучшие подсказки».
Главное — измерять, остался ли агент в рамках разрешенной ему работы.
Точность ограничения превосходит театрализованное ограничение.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закреплено