Перед запуском агента штучного інтелекту, нарешті частина кошмарних етапів була контролювана за допомогою інструментальних зв’язків

Місія новин ME, 17 квітня (UTC+8), за даними моніторингу Датчі Beating, платформа для розробки AI-агентів LangChain випустила дві оновлення своїх інструментів спостереження LangSmith: бібліотеку шаблонів оцінювачів та повторно використовувані оцінювачі. Оцінка того, наскільки «зручний» AI-агент, є однією з найзайнятіших у процесі розробки. Агент може викликати правильний інструмент, але формат відповіді неправильний, одноповерховий діалог працює нормально, але при багатоповерховому він зламується, кінцева відповідь здається розумною, але проміжні кроки шукають неправильний документ. Розробники повинні встановлювати контрольні точки на рівнях окремих кроків, повного шляху, багатоповерхових діалогів, викликів конкретних інструментів, і кожен оцінювач проходить через процес написання підказок, калібрування за реальними даними, повторного налаштування, що часто займає кілька тижнів з нуля. Зараз LangSmith пропонує понад 30 готових шаблонів, що охоплюють п’ять класів.