Amazon lança o framework Promptimus, otimizando automaticamente os prompts de LLM

robot
Geração do resumo em andamento
AIMPACT mensagem, 15 de maio (UTC+8), cientistas da Amazon propuseram uma estrutura de engenharia de prompts automatizada chamada Promptimus, que melhora prompts de alta qualidade existentes de LLMs sem intervenção humana.
O método utiliza uma estratégia de otimização iterativa, aproveitando um modelo auxiliar de "otimizador" para analisar o padrão de interação entre prompts e saídas do modelo, identificando e ajustando automaticamente aspectos como clareza das instruções, seleção de exemplos, entre outros.
Em testes de referência múltiplos, incluindo raciocínio matemático (a precisão do GSM8K aumentou de 78% para 85%), perguntas de conhecimento geral e geração de código, os prompts otimizados apresentaram uma melhora média de desempenho de 5% a 15%.
Essa estrutura não depende de arquitetura específica de LLM ou tipo de tarefa, possuindo uma abordagem geral, e evita overfitting por meio de termos de regularização e mecanismos de validação cruzada, garantindo capacidade de generalização. (Fonte: InFoQ)
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 8
  • 15
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
ContrarianIndicatorMyself
· 05-22 09:36
No futuro, escrever prompts vai fazer você perder o emprego (não).
Ver originalResponder0
YieldTuningFork
· 05-22 05:59
O otimizador auxiliar analisa a interação, a ideia é um pouco como um parente distante do RLHF
Ver originalResponder0
GateUser-9190180e
· 05-21 10:54
Sem vincular a uma arquitetura de modelo específica, essa versatilidade é que é realmente interessante
Ver originalResponder0
TransparentDomeCity
· 05-21 01:06
Ajuste automático de prompt finalmente não precisa mais de "meditação", cientistas estão em êxtase
Ver originalResponder0
GovernanceMoodboard
· 05-21 00:58
5-15% de aumento médio parece modesto, mas não dá para negar que é totalmente automático
Ver originalResponder0
StopLossSparrow
· 05-21 00:57
Regularização + validação cruzada para evitar overfitting, detalhes bem feitos
Ver originalResponder0
GateUser-f49a50d4
· 05-21 00:57
Promptimus esse nome soa como Transformers, mas o efeito é de verdade mesmo
Ver originalResponder0
MoonlightTake-ProfitLine
· 05-21 00:57
GSM8K de 78% para 85%, realmente é uma área de raciocínio matemático bastante avançada
Ver originalResponder0
  • Fixado