Amazon оголосила фреймворк Promptimus, автоматично оптимізуючи підказки для LLM

robot
Генерація анотацій у процесі
AIMPACT повідомлення, 15 травня (UTC+8), вчені Amazon запропонували автоматизовану рамку для створення підказок під назвою Promptimus, яка дозволяє покращувати вже високоякісні підказки для великих мовних моделей без людського втручання. Цей метод за допомогою ітеративної оптимізації використовує допоміжну модель "оптимізатора" для аналізу взаємодії між підказками та виходами моделі, автоматично визначаючи та коригуючи такі аспекти, як ясність інструкцій та вибір прикладів. У таких бенчмарках, як математичне логічне мислення (точність GSM8K з 78% до 85%), відповіді на загальні питання та генерація коду, оптимізовані підказки показали середнє покращення продуктивності на 5%-15%. Ця рамка не залежить від конкретної архітектури LLM або типу задачі, має універсальність і за допомогою регуляризаційних термів та механізмів перехресної перевірки запобігає надмірній оптимізації, забезпечуючи здатність до узагальнення. (Джерело: InFoQ)
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 7
  • 9
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
AutumnTranquility
· 8год тому
Чи може навіть питання на загальні знання підвищуватися? Це означає, що мова йде не лише про налаштування формату, а справді про зміну на рівні розуміння.
Переглянути оригіналвідповісти на0
GateUser-6319729f
· 11год тому
Автоматичне налаштування підказки нарешті позбавилося необхідності "варити еліксири"
Переглянути оригіналвідповісти на0
GateUser-9076f8b9
· 11год тому
Регуляризація + крос-валідація для запобігання перенавчанню, будь-хто, хто займається машинним навчанням, погодиться з цим.
Переглянути оригіналвідповісти на0
GammaRunner
· 11год тому
5-15% середнього покращення слухання є скромним, але подумайте, що це нульовий зразок автоматичної оптимізації, скільки зусиль зекономлено.
Переглянути оригіналвідповісти на0
IceCreamUnderTheNeonLights
· 11год тому
Ця хвиля Amazon, ймовірно, прокладає шлях для власної AWS Bedrock, універсальна структура + без прив'язки до архітектури, амбіції досить великі
Переглянути оригіналвідповісти на0
GateUser-656cc6e4
· 11год тому
Зачекайте, чи потрібно налаштовувати саму модель допоміжного оптимізатора? Попередження про вкладені виклики
Переглянути оригіналвідповісти на0
PocketValidator
· 11год тому
Promptimus ця назва має кібертематику, виглядає досить солідно, підвищення GSM8K на 7 пунктів — не мала сума
Переглянути оригіналвідповісти на0
  • Закріплено