GSM8K de 78% para 85%, os entusiastas de matemática estão em êxtase

AIMPACT informa que os cientistas da Amazon propuseram uma estrutura de engenharia de prompts automatizada chamada Promptimus, que melhora prompts de alta qualidade para LLMs sem intervenção humana. Através de estratégias de otimização iterativa e análise de interação entre prompts e saídas do modelo com um otimizador auxiliar, ajusta automaticamente a clareza das instruções, a seleção de exemplos e outros aspectos. Vários benchmarks mostram melhorias médias de 5-15%, incluindo um aumento de 78% para 85% na inferência matemática GSM8K, abrangendo tarefas de perguntas de conhecimento geral e geração de código. A estrutura é versátil, não dependente de arquiteturas específicas de LLM ou tarefas, e utiliza regularização e validação cruzada para evitar otimizações excessivas, garantindo capacidade de generalização.