Científico de Stanford explora el potencial y las limitaciones de la investigación científica asistida por IA y la revisión por pares

Noticias de ME: mensaje, 1 de abril (UTC+8). El científico de computación de la Universidad de Stanford, James Zou, exploró recientemente las aplicaciones de los grandes modelos de lenguaje para ayudar a sus colegas en la revisión por pares y acelerar el progreso de la investigación. Participó en un gran experimento aleatorio a gran escala que abarcó cerca de 20k evaluaciones, para evaluar el impacto de la asistencia de la IA en la calidad de las revisiones. El estudio encontró que la IA se desempeña especialmente bien al detectar errores u inconsistencias objetivas y verificables (como datos que no coinciden, errores en fórmulas), pero presenta limitaciones al evaluar juicios subjetivos, como la novedad o la importancia de la investigación, e incluso a veces muestra una inclinación a halagar. Zou enfatizó que la IA debe apoyar y no reemplazar las decisiones humanas; los científicos deben ser responsables de la investigación final y deben explicar con transparencia el grado de participación de la IA. El experimento mostró que la retroalimentación de la IA mejora la calidad de las revisiones y el nivel de participación de los revisores. Los planes futuros incluyen la realización de más reuniones para regular la aplicación de la IA en la ciencia. (Fuente: InFoQ)