МЕ Новини, 17 квітня (UTC+8), за даними моніторингу Дунчжа Beating, платформа для розробки AI-агентів LangChain випустила дві оновлення своїх інструментів спостереження LangSmith: бібліотеку шаблонів оцінювачів та багаторазові оцінювачі. Оцінка «зручності» AI-агента є однією з найзайнятіших у процесі розробки. Агент може викликати правильний інструмент, але формат відповіді неправильний, одноповерховий діалог проходить нормально, але багатоповерховий збоїть, кінцева відповідь здається логічною, але проміжні кроки містять неправильну документацію. Розробникам потрібно встановлювати контрольні точки на рівнях окремих кроків, повного шляху, багатоповерхових діалогів, викликів конкретних інструментів, і кожен оцінювач проходить через процес написання підказок, калібрування за реальними даними, багаторазового налаштування, що зазвичай займає кілька тижнів з нуля. Зараз LangSmith пропонує понад 30 готових шаблонів, що охоплюють п’ять категорій: безпека та захист (виявлення ін’єкцій підказок, перевірка витоку особистої інформації, упередження та токсичність), якість відповіді (правильність, корисність, тон), траєкторія виконання (чи правильно пройшов агент кроки), аналіз поведінки користувачів (розподіл мовлення, сигнали задоволеності), мультимодальні (перевірка голосових та зображувальних виходів). Шаблони містять оптимізовані підказки для оцінки LLM та правила на основі коду для оцінювачів, які можна використовувати безпосередньо або налаштовувати, одночасно підходять для онлайн-моніторингу та офлайн-експериментів. Багаторазові оцінювачі вирішують управлінські питання на рівні організацій: нова вкладка Evaluators централізовано показує всі оцінювачі у робочій зоні, їх можна швидко прикріпити до нового проекту, оновлення підказок поширюється глобально, без необхідності підтримувати дублікати у кожному проекті. Вищезазначені шаблони синхронізовано з відкритим кодом і випущені разом з openevals v0.2.0, що додало підтримку мультимодальної оцінки. (Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

9 лайків

Нагородити
9
8
7
Поділіться

Прокоментувати

Додати коментар

VineGeometry

· 2год тому

Оцінка траєкторії — я раніше писав щось подібне самостійно, тепер, коли з’явиться офіційне рішення, можна буде перенести, щоб зекономити на обслуговуванні.