Amazon publie le cadre Promptimus, optimisant automatiquement les invites pour les LLM

robot
Création du résumé en cours
AIMPACT message, le 15 mai (UTC+8), des scientifiques d'Amazon ont proposé un cadre d'ingénierie de prompts automatisés appelé Promptimus, qui permet d'améliorer des prompts LLM de haute qualité existants sans intervention humaine.
Cette méthode utilise une stratégie d'optimisation itérative, exploitant un modèle "optimiseur" auxiliaire pour analyser l'interaction entre les prompts et la sortie du modèle, afin d'identifier et d'ajuster automatiquement la clarté des instructions, la sélection d'exemples, et d'autres dimensions.
Dans des tests de référence tels que la raisonnement mathématique (précision GSM8K passant de 78 % à 85 %), les questions de connaissance générale et la génération de code, les prompts optimisés ont amélioré en moyenne leurs performances de 5 % à 15 %.
Ce cadre ne dépend pas d'une architecture LLM ou d'un type de tâche spécifique, il possède une universalité, et évite le sur-optimisation grâce à des termes de régularisation et un mécanisme de validation croisée, garantissant une capacité de généralisation. (Source : InFoQ)
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 7
  • 9
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
AutumnTranquility
· Il y a 7h
Les questions de culture générale peuvent aussi faire monter ? Cela montre que ce n’est pas seulement un ajustement de format, mais qu’il y a vraiment une compréhension en jeu.
Voir l'originalRépondre0
GateUser-6319729f
· Il y a 10h
L'ajustement automatique du prompt ne nécessite plus de faire de la magie maintenant
Voir l'originalRépondre0
GateUser-9076f8b9
· Il y a 10h
La régularisation + la validation croisée pour éviter le surapprentissage, tout praticien du ML acquiescerait en voyant cette phrase
Voir l'originalRépondre0
GammaRunner
· Il y a 10h
5-15 % d'amélioration moyenne de l'écoute modest, mais pensez que c'est une optimisation automatique zéro-shot, combien de travail manuel cela économise-t-il
Voir l'originalRépondre0
IceCreamUnderTheNeonLights
· Il y a 10h
Amazon est en train de préparer le terrain pour AWS Bedrock, avec un cadre général + sans architecture contraignante, ce qui montre de grandes ambitions.
Voir l'originalRépondre0
GateUser-656cc6e4
· Il y a 10h
Attends, faut-il ajuster le modèle d'optimiseur auxiliaire lui-même ? Avertissement de boucle imbriquée
Voir l'originalRépondre0
PocketValidator
· Il y a 10h
Le nom Promptimus a une saveur cyber, l'effet semble assez solide, et la hausse de 7 points sur GSM8K n'est pas une petite somme.
Voir l'originalRépondre0
  • Épinglé