Série de alegria dos desenvolvedores: o trabalho repetitivo de calibração e ajuste de prompts pode ser dispensado

ME News Notícias, 17 de abril (UTC+8), de acordo com o monitoramento do Beating, a ferramenta de observabilidade LangSmith, pertencente à plataforma de desenvolvimento de agentes de IA LangChain, lançou duas atualizações: biblioteca de modelos de avaliação e avaliador reutilizável. Avaliar se um agente de IA é "útil" é atualmente uma das etapas mais demoradas no desenvolvimento. O agente pode chamar a ferramenta correta, mas o formato da resposta está errado, uma conversa de uma única rodada funciona normalmente, mas múltiplas rodadas travam, ou a resposta final parece razoável, mas as etapas intermediárias consultaram documentos incorretos. Os desenvolvedores precisam configurar pontos de verificação em vários níveis, como passo a passo, trajetória completa, múltiplas rodadas de diálogo, chamadas específicas de ferramentas, e cada avaliador passa por um processo de escrever prompts, calibrar com dados reais, ajustar repetidamente, o que geralmente leva semanas desde o zero. Agora, a LangSmith oferece mais de 30 modelos prontos, cobrindo cinco categorias