Amazon lanza el marco Promptimus, que optimiza automáticamente las indicaciones de LLM

robot
Generación de resúmenes en curso
AIMPACT Mensaje, 15 de mayo (UTC+8), científicos de Amazon propusieron un marco de trabajo automatizado para la ingeniería de indicaciones llamado Promptimus, que mejora las indicaciones de alta calidad existentes en LLM sin intervención humana.
El método utiliza una estrategia de optimización iterativa, aprovechando un modelo auxiliar de "optimizador" para analizar la interacción entre las indicaciones y las salidas del modelo, identificando y ajustando automáticamente aspectos como la claridad de las instrucciones y la selección de ejemplos.
En pruebas de referencia en razonamiento matemático (la precisión en GSM8K aumentó del 78% al 85%), preguntas de conocimiento general y generación de código, las indicaciones optimizadas mejoraron en promedio el rendimiento en un 5%-15%.
Este marco no depende de una arquitectura específica de LLM ni de un tipo de tarea, tiene carácter universal y evita la sobreoptimización mediante términos de regularización y mecanismos de validación cruzada, asegurando la capacidad de generalización. (Fuente: InFoQ)
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • 7
  • 9
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
AutumnTranquility
· hace7h
¿Las preguntas de conocimiento general también pueden aumentar? Entonces, eso indica que no solo se trata de ajustar el formato, sino que realmente se ha trabajado en el nivel de comprensión.
Ver originalResponder0
GateUser-6319729f
· hace10h
El ajuste automático de prompts finalmente ya no requiere hacer alquimia.
Ver originalResponder0
GateUser-9076f8b9
· hace10h
Regularización + validación cruzada para prevenir el sobreajuste, los que hacen ML asienten con la cabeza al leer esto
Ver originalResponder0
GammaRunner
· hace10h
5-15% de mejora promedio en la audición, modest, pero pensemos que esto es una optimización automática zero-shot, ¿cuánto se ahorra en mano de obra?
Ver originalResponder0
IceCreamUnderTheNeonLights
· hace10h
Amazon esta jugada parece ser preparar el camino para su propia AWS Bedrock, un marco general + sin atar arquitectura, no tiene poca ambición
Ver originalResponder0
GateUser-656cc6e4
· hace10h
Espera, ¿es necesario ajustar el propio modelo del optimizador auxiliar? Advertencia de bucle anidado
Ver originalResponder0
PocketValidator
· hace10h
Promptimus, este nombre tiene un toque cibernético, el efecto se ve bastante sólido, un aumento de 7 puntos en GSM8K no es una cantidad pequeña
Ver originalResponder0
  • Fijado