GSM8K del 78% al 85%, los amantes de las matemáticas están eufóricos

AIMPACT informa que los científicos de Amazon han propuesto un marco de trabajo de prompts automatizado llamado Promptimus, que mejora los prompts de LLM de alta calidad sin intervención humana. A través de estrategias de optimización iterativa y análisis de interacción entre prompts y salidas del modelo con un optimizador auxiliar, ajusta automáticamente dimensiones como la claridad de las instrucciones y la selección de ejemplos. Varias métricas de referencia muestran una mejora promedio del 5-15%, donde la inferencia matemática GSM8K pasa del 78% al 85%, abarcando tareas de preguntas de conocimiento general y generación de código. El marco es versátil, no dependiente de arquitecturas específicas de LLM o tareas, y utiliza regularización y validación cruzada para evitar sobreajustes, garantizando la capacidad de generalización.