Amazon выпустила рамочную структуру Promptimus для автоматической оптимизации подсказок LLM

robot
Генерация тезисов в процессе
AIMPACT сообщение, 15 мая (UTC+8), ученые Amazon предложили автоматическую рамочную структуру для инженерии подсказок под названием Promptimus, которая позволяет улучшать существующие высококачественные подсказки для LLM без человеческого вмешательства. Этот метод использует итеративную стратегию оптимизации, анализируя взаимодействие между подсказками и выводами модели с помощью вспомогательной "оптимизирующей" модели, автоматически выявляя и корректируя такие аспекты, как ясность инструкций и выбор примеров. В таких задачах, как математические рассуждения (точность GSM8K увеличилась с 78% до 85%), вопросы на общие знания и генерация кода, после оптимизации подсказки показывают среднее повышение производительности на 5%-15%. Эта рамочная структура не зависит от конкретной архитектуры LLM или типа задачи, обладает универсальностью и использует регуляризационные термы и механизмы кросс-валидации для предотвращения переобучения, обеспечивая способность к обобщению. (Источник: InFoQ)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • 7
  • 9
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
AutumnTranquility
· 10ч назад
Могут ли вопросы общего знания тоже повышать? Значит, дело не только в настройке формата, а действительно в понимании на уровне понимания.
Посмотреть ОригиналОтветить0
GateUser-6319729f
· 13ч назад
Автоматическая настройка подсказок наконец-то избавила от необходимости заниматься алхимией
Посмотреть ОригиналОтветить0
GateUser-9076f8b9
· 13ч назад
Регуляризация + кросс-валидация для предотвращения переобучения, любой специалист по машинному обучению согласится с этим.
Посмотреть ОригиналОтветить0
GammaRunner
· 13ч назад
5-15% в среднем повышение слушания modest, но подумайте, что это нулевой уровень автоматической оптимизации, сколько труда сэкономлено
Посмотреть ОригиналОтветить0
IceCreamUnderTheNeonLights
· 13ч назад
Эта волна Amazon, похоже, прокладывает путь для своего AWS Bedrock, универсальный каркас + без привязки к архитектуре, амбиции немаленькие
Посмотреть ОригиналОтветить0
GateUser-656cc6e4
· 13ч назад
Подожди, нужно ли настраивать саму модель вспомогательного оптимизатора? Предупреждение о вложенных моделях
Посмотреть ОригиналОтветить0
PocketValidator
· 13ч назад
Promptimus это имя с киберстилем, выглядит довольно солидно, рост GSM8K на 7 пунктов — не маленькая сумма
Посмотреть ОригиналОтветить0
  • Закреплено