Cientista de Stanford explora o potencial e as limitações da IA na pesquisa científica assistida e na revisão por pares

Notícias ME, mensagem, 1 de abril (UTC+8). O cientista da computação da Universidade de Stanford James Zou explorou recentemente a utilização de grandes modelos de linguagem para ajudar colegas cientistas na revisão por pares e para acelerar o progresso da investigação. Ele participou num grande ensaio aleatório envolvendo cerca de 20.000 revisões, para avaliar o impacto da assistência por IA na qualidade das revisões. O estudo descobriu que a IA tem um desempenho excelente na identificação de erros ou inconsistências objetivos e verificáveis (como dados que não correspondem, erros em fórmulas), mas tem limitações ao avaliar juízos subjetivos como a novidade ou a importância de um estudo; por vezes, chega até a apresentar tendência para bajulação. Zou sublinhou que a IA deve apoiar e não substituir as decisões humanas, que os cientistas precisam de ser responsáveis pelo estudo final e que devem explicar de forma transparente o nível de envolvimento da IA. O experimento mostrou que o feedback da IA melhorou a qualidade da revisão e o envolvimento dos revisores. No futuro, está planeado realizar mais conferências para regulamentar a aplicação de IA na ciência. (Fonte: InFoQ)