O agente de investigação mais forte ainda só consegue concluir completamente 1 entre cada 7 objetos

robot
Geração de resumo em curso
Notícias do CoinJie.com: A pesquisa divulgada por OneMillion_AI mostra que o Agent de investigação mais forte, ao executar tarefas, só consegue concluir a pesquisa completa de 1 em cada 7 objetos. O estudo baseia-se no benchmark wandr publicado pela perplexity e testa especificamente o desempenho dos Agents de investigação na recolha de grandes volumes de dados. As tarefas exigem primeiro encontrar e reunir uma lista completa de objetos, e depois complementar, para cada objeto, a informação especificada e fontes fiáveis. As 500 tarefas envolvem mais de 170.000 registos. Entre os 6 sistemas em avaliação, o perplexity search as code ficou em primeiro lugar, mas apenas 13,3% dos objetos cumprem simultaneamente a integridade da informação e a existência de evidências completas. Convertendo isto, em cada 7 objetos há apenas cerca de 1 que consegue entregar de forma completa. Os resultados indicam que, embora os actuais Agents de investigação já consigam encontrar bastantes páginas, ao lidar com listas longas e tarefas com vários campos, continuam a falhar com facilidade em objectos, em informação ou na falta de evidências.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • 2
  • 2
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
ChainHodler
· 4h atrás
A falta de alvo, provas insuficientes, informações incompletas — estas três facadas expõem todas as fragilidades do agente atual. Em tarefas de grande escala, a estabilidade é mais importante do que o desempenho máximo; nisto, toda a gente ainda tem de se esforçar para melhorar.
Ver originalResponder0
GasActuary
· 4h atrás
A Perplexity fica em primeiro lugar, com apenas 13,3%, o que torna este teste de referência bastante implacável. Tenho a sensação de que os agentes estão agora mais parecidos com uma ferramenta de pesquisa superpoderosa, ainda a faltar um “suspiro” para serem verdadeiros assistentes de investigação.
Ver originalResponder0
  • Fixado