GSM8K з 78% до 85%, математичні ентузіасти в захваті

AIMPACT повідомляє, що вчені Amazon запропонували автоматизовану рамку для інженерії підказок під назвою Promptimus, яка може покращувати високоякісні підказки LLM без людського втручання. За допомогою ітеративної оптимізаційної стратегії та допоміжної моделі оптимізатора, що аналізує взаємодію між підказками та виходами моделі, автоматично регулює такі параметри, як ясність інструкцій та вибір прикладів. Багато стандартів показують середнє покращення на 5-15%, зокрема математичне мислення GSM8K з 78% до 85%, охоплюючи задачі з загальними знаннями та генерацію коду. Рамка є універсальною, не залежить від конкретної архітектури або задачі LLM, а також використовує регуляризацію та крос-валідацію для запобігання перенавчанню, забезпечуючи здатність до узагальнення.