Le meilleur agent de recherche n’arrive à terminer intégralement la recherche que de 1 objet sur 7.

robot
Création du résumé en cours
CoinDesk?(币界网)消息 : La recherche publiée par OneMillion_AI montre que, lorsqu’ils traitent des tâches, les Agents de recherche les plus performants ne peuvent trouver et vérifier intégralement que 1 seul objet sur 7. Cette étude s’appuie sur le benchmark wandr publié par Perplexity et teste spécifiquement les performances des Agents de recherche dans la collecte de données à grande échelle. Les tâches exigent d’abord d’identifier l’ensemble d’une liste d’objets, puis de compléter pour chacun les informations demandées ainsi que des sources fiables. Les 500 tâches au total portent sur plus de 170 000 enregistrements. Parmi les 6 systèmes évalués, la recherche Perplexity search as code arrive en première position, mais seulement 13,3 % des objets répondent simultanément à l’exhaustivité des informations et à la présence de preuves suffisantes. En conversion, cela signifie qu’environ 1 objet sur 7 peut être livré de manière complète. Les résultats indiquent que, même si les Agents de recherche actuels parviennent à trouver de nombreuses pages, ils ont encore tendance à manquer des objets, à omettre des informations ou à ne pas fournir de preuves lorsqu’ils traitent de longues listes et des tâches à champs multiples.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 2
  • 2
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
ChainHodler
· Il y a 4h
L’attaquant, le manque de preuves, des informations incomplètes — ces trois points mettent à nu toutes les faiblesses actuelles de l’Agent. Dans les missions de grande ampleur, la stabilité compte plus que la capacité au sommet : sur ce point, tout le monde va devoir continuer à se mesurer.
Voir l'originalRépondre0
GasActuary
· Il y a 4h
Perplexity arrive en tête avec seulement 13,3 % : ce benchmark est vraiment impitoyable. J’ai l’impression que l’agent ressemble désormais davantage à un outil de recherche ultra-performant, et qu’il lui manque encore un souffle pour devenir un véritable assistant de recherche.
Voir l'originalRépondre0
  • Épinglé