Amazon lança o framework Promptimus, otimizando automaticamente os prompts de LLM

robot
Geração do resumo em andamento
AIMPACT mensagem, 15 de maio (UTC+8), cientistas da Amazon propuseram uma estrutura de engenharia de prompts automatizada chamada Promptimus, que melhora prompts de LLM de alta qualidade existentes sem intervenção humana.
O método utiliza uma estratégia de otimização iterativa, empregando um modelo auxiliar de "otimizador" para analisar o padrão de interação entre prompts e saídas do modelo, identificando e ajustando automaticamente aspectos como clareza das instruções e seleção de exemplos.
Em testes de referência múltiplos, incluindo raciocínio matemático (a precisão do GSM8K aumentou de 78% para 85%), perguntas de conhecimento geral e geração de código, os prompts otimizados apresentaram uma melhoria média de desempenho de 5% a 15%.
Essa estrutura não depende de arquitetura específica de LLM ou tipo de tarefa, possuindo uma abordagem geral, e evita overfitting por meio de termos de regularização e mecanismos de validação cruzada, garantindo capacidade de generalização. (Fonte: InFoQ)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 9
  • 13
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
TheWaveOfRasterization
· 05-22 10:18
Como a estratégia de otimização por iteração foi especificamente projetada, analise detalhadamente após a publicação do artigo
Ver originalResponder0
ReefUnderTheAurora
· 05-22 02:16
É de código aberto? Se não for de código aberto, então é uma caixa preta mística.
Ver originalResponder0
AutumnTranquility
· 05-21 06:54
Perguntas de conhecimento comum também podem aumentar? Então isso mostra que não é apenas ajuste de formato, realmente houve uma mudança na compreensão.
Ver originalResponder0
GateUser-6319729f
· 05-21 04:03
Ajuste automático de prompt finalmente não precisa mais de "meditação alquímica"
Ver originalResponder0
GateUser-9076f8b9
· 05-21 03:48
Regularização + validação cruzada para evitar overfitting, quem trabalha com ML vai concordar com essa frase
Ver originalResponder0
GammaRunner
· 05-21 03:48
5-15% de aumento médio na compreensão auditiva é modesto, mas pense que isso é uma otimização automática zero-shot, quanto tempo de trabalho humano isso economiza
Ver originalResponder0
IceCreamUnderTheNeonLights
· 05-21 03:48
A onda da Amazon está ajudando a preparar o terreno para o seu AWS Bedrock, com uma estrutura genérica + sem amarrar arquitetura, uma ambição grande.
Ver originalResponder0
GateUser-656cc6e4
· 05-21 03:48
Espere, o próprio modelo do otimizador auxiliar precisa ser ajustado? Aviso de aninhamento
Ver originalResponder0
PocketValidator
· 05-21 03:48
Promptimus, esse nome tem um toque cyber, o efeito parece bem sólido, o aumento de 7 pontos no GSM8K não é uma quantia pequena
Ver originalResponder0
Ver projetos
  • Fixado