Des scientifiques de Stanford explorent le potentiel et les limites de l'IA pour la recherche scientifique assistée et la revue par les pairs

Actualités ME : le 1er avril (UTC+8), James Zou, chercheur en informatique à l’Université Stanford, a récemment exploré les applications des grands modèles de langage pour aider ses pairs à évaluer les travaux scientifiques et pour accélérer le progrès de la recherche. Il a participé à une vaste expérience randomisée à grande échelle portant sur environ 20 000 évaluations, afin d’évaluer l’impact de l’assistance par l’IA sur la qualité des évaluations. L’étude a révélé que l’IA excelle à repérer des erreurs ou des incohérences objectives et vérifiables (telles que des données qui ne correspondent pas, des erreurs dans les formules), mais présente des limites dans l’évaluation de jugements subjectifs tels que la nouveauté ou l’importance d’un travail de recherche, allant parfois jusqu’à faire preuve d’attitudes complaisantes. Zou a souligné que l’IA doit soutenir plutôt que remplacer la prise de décision humaine ; les scientifiques doivent être responsables en dernier ressort des recherches, et doivent expliquer de manière transparente le degré d’implication de l’IA. L’expérience montre que les retours de l’IA améliorent la qualité des évaluations et l’implication des évaluateurs. À l’avenir, des réunions supplémentaires sont prévues afin de réglementer l’utilisation de l’IA en science. (Source : InFoQ)