П’ять основних категорій шаблонів, новачки також зможуть швидко створити систему оцінки

LangSmith випустила бібліотеку шаблонів оцінювачів та повторно використовувані оцінювачі, що спрощують багаторівневу оцінку AI-агентів. Шаблони охоплюють п’ять основних категорій: безпека та захист, якість відповідей, траєкторія виконання, аналіз поведінки користувачів та мультимодальність, включаючи оптимізовані підказки для оцінювання та правил оцінювачів, що підходять для онлайн-моніторингу та офлайн-експериментів. Повторно використовувані оцінювачі централізовано керуються на рівні організації, додано вкладку Evaluators, можливість однієї натискання для підключення до нового проекту, глобальне застосування оновлених підказок, відкритий код та випуск разом з openevals v0.2.0, з додатковою підтримкою мультимодальності.