La recherche de Harvard « Le diagnostic d'urgence par l'IA est plus précis que celui des médecins » a été trop médiatisée, selon les médecins : manque de véritable comparaison.

Une étude de Harvard indique que la précision du diagnostic d’urgence par l’IA atteint 67,1 %, surpassant celle des médecins internistes. Mais les urgentistes contestent cette affirmation, la qualifiant de surmédiatisée, car l’étude manque de comparaison avec de vrais médecins d’urgence, et l’IA ne peut actuellement traiter que du texte, ne pouvant pas encore remplacer un médecin humain en pratique indépendante.

Étude Harvard : L’IA dépasse les médecins dans le diagnostic en salle d’urgence

Le 30 avril, une étude publiée dans la revue « Science » indique que les diagnostics d’urgence réalisés par l’IA sont plus précis que ceux de deux médecins humains, ce qui a rapidement attiré l’attention de l’industrie et des médias. Cependant, il est prématuré de conclure que l’IA peut réellement exercer en tant que médecin sur cette base.

Une équipe de recherche composée de médecins et d’informaticiens de la Harvard Medical School et du Beth Israel Deaconess Medical Center a découvert que, dans une expérience portant sur 76 patients réels en salle d’urgence du Beth Israel, les chercheurs ont comparé les diagnostics générés par le modèle OpenAI o1 et GPT-4o avec ceux de deux « médecins internistes ».

Les résultats montrent qu’au cours des trois principales phases de diagnostic, comprenant la classification initiale des blessures, l’évaluation préliminaire par le médecin d’urgence, et la décision de transfert vers une unité de soins ou de soins intensifs, le modèle GPT-o1 a obtenu une précision supérieure à GPT-4o et aux médecins humains.

Dans la phase de classification initiale, la plus critique et nécessitant des décisions précises avec peu d’informations, l’avantage de l’IA est le plus évident. Le modèle GPT-o1 a fourni des diagnostics totalement précis ou très proches dans 67,1 % des cas, contre 55,3 % et 50,0 % pour les deux médecins humains.

Source : Étude Harvard Étude comparant la performance de deux médecins internistes, GPT-o1 et GPT-4o dans 76 cas cliniques

Aucune pré-traitement, test avec dossiers médicaux réels

Contrairement à de nombreuses études antérieures, l’équipe de Harvard n’a effectué aucun pré-traitement des données médicales réelles avant de tester les modèles, les cas en salle d’urgence étant présentés tels quels, tels qu’ils apparaissent dans les dossiers électroniques.

Concernant la méthodologie, Thomas Buckley, doctorant en médecine informatique à Harvard Medical School, explique que pour comprendre la performance du modèle en environnement réel, l’équipe a dû effectuer des tests dès le début de la prise en charge du patient, lorsque les données cliniques étaient encore très limitées.

Adam Rodman, co-auteur de l’étude, mentionne également que la précision du diagnostic du modèle lors des premières décisions en cas d’urgence a égalé, voire dépassé, celle des médecins, ce qui a surpris l’équipe de recherche.

Source : Étude Harvard Étude : Comparaison des performances de GPT o1-preview, GPT-4 et médecins dans le raisonnement diagnostique clinique

L’IA ne peut traiter que du texte, la médecine réelle est riche en non-verbaux

L’étude souligne également que les modèles d’IA conversationnelle générative actuels ont encore de grandes limitations dans leur capacité à raisonner à partir d’entrées non textuelles.

En effet, la recherche n’a évalué que la performance des modèles lorsqu’ils reçoivent uniquement du texte, alors que l’environnement médical réel est rempli d’informations non verbales, telles que la douleur ressentie par le patient ou l’interprétation d’images médicales.

L’IA ne peut pas encore exercer de manière autonome

Bien que l’IA montre une excellente capacité de diagnostic, l’étude insiste sur le fait que cela ne signifie pas qu’elle peut exercer de façon indépendante.

Peter Brodeur, chercheur clinique à Harvard Medical School, explique que l’IA peut être correcte dans le diagnostic initial, mais peut aussi recommander des examens inutiles, ce qui expose le patient à des risques supplémentaires. Par conséquent, l’intervention humaine reste essentielle pour l’évaluation de la performance et la sécurité.

L’absence de comparaison avec de vrais urgentistes dans l’étude Harvard

Kristen Panthagani, médecin urgentiste, a également publié un commentaire indiquant que, bien que les résultats soient intéressants, ils ont suscité des titres sensationnalistes.

Elle souligne que l’étude compare l’IA à des médecins internistes, mais ne fournit pas de données comparant l’IA à de véritables médecins urgentistes :

« Si l’on veut comparer l’outil IA à la capacité clinique d’un médecin, il faut commencer par le faire avec des médecins spécialisés en urgence. Si un grand modèle de langage (LLM) bat un dermatologue lors d’un examen de spécialité, cela ne m’étonnerait pas, mais cela n’apporte pas grand-chose en pratique. »

Elle précise que la priorité lors de la première consultation en urgence est de déterminer si le patient souffre d’une maladie mortelle, et non de deviner un diagnostic final.

L’étude Harvard met également en garde contre l’absence actuelle de cadre de responsabilité formel pour les diagnostics assistés par IA, soulignant que les patients ont encore besoin de médecins pour guider les décisions vitales et faire face aux choix difficiles de traitement.

L’équipe de recherche appelle à des essais cliniques prospectifs rigoureux dans des environnements réels pour évaluer ces technologies, afin de comprendre comment déployer ces outils en toute sécurité pour soutenir, et non remplacer, les médecins humains.

Lecture complémentaire :
Pourquoi la progression de l’IA générative dans la médecine et le droit est lente ? Le fondateur de Replit : la vérifiabilité est la clé