O agente de pesquisa mais forte, a cada 7 objetos, ainda só consegue concluir totalmente 1

robot
Geração do resumo em andamento
Notícias do Coin World: um estudo divulgado pela OneMillion_AI indica que o agente de pesquisa mais forte, ao lidar com tarefas, consegue consultar completamente apenas 1 entre cada 7 objetos. O estudo foi baseado no benchmark wandr, publicado pela perplexity, e testa especificamente o desempenho de agentes de pesquisa na coleta de grandes volumes de informações. As tarefas exigem primeiro localizar uma lista completa de objetos e, depois, preencher para cada um as informações especificadas e fontes confiáveis. As tarefas, em um total de 500, envolvem mais de 170 mil registros. Entre 6 sistemas avaliados, o perplexity search as code ficou em 1º lugar, mas apenas 13,3% dos objetos atendem simultaneamente à completude das informações e à existência de evidências suficientes. Convertendo isso, a cada 7 objetos, apenas cerca de 1 consegue entregar tudo de forma completa. Os resultados mostram que os agentes de pesquisa atuais já conseguem encontrar muitos sites, mas ao lidar com listas longas e tarefas com múltiplos campos, ainda é comum deixar objetos ou informações para trás, ou ainda faltar evidências.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 2
  • 2
  • Compartilhar
Comentário
Adicionar um comentário
Adicionar um comentário
ChainHodler
· 4h atrás
Falha ao identificar o alvo, falta de evidências, informações incompletas — esse trio expõe completamente as fraquezas atuais do agente. Em tarefas de grande escala, a estabilidade é mais importante do que a capacidade de pico, e nesse ponto o pessoal ainda precisa competir mais.
Ver originalResponder0
GasActuary
· 4h atrás
A Perplexity ficou em primeiro lugar, mas ainda assim só obteve 13,3%. Esse teste de referência é bem cruel. Parece que o Agent agora está mais para uma ferramenta de busca superpotente, ainda faltando um fôlego para ser um verdadeiro assistente de pesquisa.
Ver originalResponder0
  • Fixado