Des scientifiques de Stanford explorent le potentiel et les limites de l'IA pour la recherche scientifique assistée et la revue par les pairs

Nouvelles ME : le 1er avril (UTC+8), le professeur James Zou, chercheur en informatique à l’université Stanford, a récemment exploré les applications des grands modèles de langage pour aider ses pairs scientifiques à faire l’évaluation par les pairs et pour accélérer le progrès de la recherche. Il a participé à une grande expérience aléatoire à grande échelle portant sur environ 20 000 évaluations afin d’évaluer l’impact de l’assistance de l’IA sur la qualité des évaluations. L’étude a révélé que l’IA excelle à repérer des erreurs ou des incohérences objectives et vérifiables (par exemple, des données qui ne concordent pas, des erreurs de formule), mais qu’elle présente des limites dans l’évaluation de jugements subjectifs comme la nouveauté ou l’importance des travaux de recherche, et qu’elle peut parfois même manifester une tendance à flatter. Zou a souligné que l’IA devrait soutenir plutôt que remplacer la prise de décision humaine ; les scientifiques doivent être responsables en dernier ressort des recherches, et doivent expliquer de manière transparente le niveau d’implication de l’IA. L’expérience montre que les retours de l’IA améliorent la qualité des évaluations et l’engagement des évaluateurs. À l’avenir, des plans prévoient d’organiser davantage de conférences pour encadrer l’application de l’IA dans la science. (Source : InFoQ)