Des scientifiques de Stanford explorent le potentiel et les limites de l'IA pour la recherche scientifique assistée et la revue par les pairs

Nouvelles ME, le 1er avril (UTC+8). James Zou, chercheur en informatique à l’université Stanford, a récemment exploré l’utilisation de grands modèles de langage pour aider ses collègues scientifiques à réaliser des évaluations par les pairs et à accélérer le progrès de la recherche. Il a participé à un vaste essai randomisé portant sur environ 20k évaluations afin d’évaluer l’impact de l’aide à l’IA sur la qualité des évaluations. L’étude a révélé que l’IA est excellente pour repérer des erreurs ou des incohérences objectives et vérifiables (telles que des données qui ne correspondent pas ou des erreurs dans des formules), mais qu’elle présente des limites dans les jugements subjectifs comme l’évaluation de la nouveauté ou de l’importance d’une étude ; parfois, elle peut même manifester une tendance à flatter. Zou a souligné que l’IA doit soutenir plutôt que remplacer la prise de décision humaine, et que les scientifiques doivent être responsables en dernier ressort de leurs recherches, en précisant de manière transparente le degré d’implication de l’IA. L’expérience a montré que les retours de l’IA améliorent la qualité des évaluations et l’engagement des évaluateurs. À l’avenir, d’autres conférences seront organisées pour encadrer l’utilisation de l’IA dans la science. (Source : InFoQ)