El estudio de Harvard sobre que "el diagnóstico en la sala de emergencias con IA es más preciso que los médicos humanos" ha sido demasiado promocionado, dicen los médicos: carece de comparación real.

La investigación de Harvard indica que la precisión del diagnóstico de IA en emergencias alcanza el 67.1%, superando a los médicos internistas. Pero los médicos de urgencias refutan esto, diciendo que es una exageración mediática, ya que el estudio carece de comparación con médicos de urgencias reales y además, la IA solo puede procesar texto, por lo que aún no puede reemplazar a los humanos en la práctica médica independiente.

Investigación de Harvard: La IA supera a los médicos en diagnósticos en salas de emergencia

El 30 de abril, un estudio publicado en la revista Science señala que los diagnósticos de IA en salas de emergencia son más precisos que los de dos médicos humanos, lo que rápidamente atrajo la atención de la industria y los medios, pero aún es prematuro concluir que la IA puede ser realmente un médico.

Un equipo de investigación formado por médicos y científicos informáticos de la Facultad de Medicina de Harvard y el Centro Médico Shaare Zedek de Israel descubrió que, en un experimento centrado en 76 pacientes reales en la sala de emergencias de Shaare Zedek, los investigadores compararon los resultados diagnósticos generados por los modelos OpenAI o1 y GPT-4o con los diagnósticos de dos “médicos internistas” de turno.

Los resultados mostraron que, en las tres etapas principales de diagnóstico —clasificación inicial de lesiones en emergencias, evaluación preliminar por parte del médico de urgencias, y autorización para traslado a hospital general o cuidados intensivos—, el modelo GPT-o1 tuvo una precisión superior a GPT-4o y a los médicos humanos.

En la fase de clasificación inicial de lesiones en emergencias, donde se requiere tomar decisiones correctas con la menor cantidad de información, la ventaja de la IA fue más evidente. El modelo GPT-o1 proporcionó diagnósticos completamente precisos o muy cercanos en el 67.1% de los casos, mientras que la precisión de los dos médicos humanos fue del 55.3% y 50.0%, respectivamente.

Fuente: Estudio de Harvard Comparación del rendimiento diagnóstico de dos médicos internistas con GPT-o1 y GPT-4 en 76 casos clínicos

Sin preprocesamiento previo, Harvard utilizó datos reales para las pruebas

A diferencia de muchos estudios anteriores, en esta investigación el equipo de Harvard no realizó ningún preprocesamiento de los datos médicos del mundo real antes de probar los modelos, presentando los casos de emergencia en su forma original extraída de los registros electrónicos a los modelos de IA.

En cuanto a la metodología, Thomas Buckley, estudiante de doctorado en el programa de Medicina de IA en Harvard, explicó que, para entender cómo se comportan los modelos en entornos reales, el equipo tuvo que realizar pruebas en las etapas iniciales del ingreso del paciente, cuando los datos clínicos aún son escasos.

El coautor del estudio, Adam Rodman, también mencionó que la precisión diagnóstica en las etapas tempranas de decisiones en casos reales de emergencia igualó o incluso superó a la de los médicos de turno, un resultado que sorprendió al equipo de investigación.

Fuente: Estudio de Harvard Comparación del rendimiento de GPT o1-preview, GPT-4 y médicos en razonamiento diagnóstico clínico

La IA solo puede procesar texto, la medicina real está llena de información no textual

El informe también señala que los modelos de chat de IA generativos actuales aún tienen limitaciones considerables en su capacidad de razonamiento con entradas no textuales.

Esto se debe a que, hasta ahora, las evaluaciones solo consideran el rendimiento de los modelos en la recepción de información en texto puro, mientras que en la práctica clínica real hay muchas entradas no textuales, como aspectos auditivos, por ejemplo, el nivel de dolor del paciente, y visuales, como la interpretación de imágenes médicas.

La IA aún no puede ejercer la medicina de forma independiente

Aunque la IA muestra una capacidad diagnóstica sobresaliente, los estudios también enfatizan que esto no significa que los modelos de IA puedan realizar tareas médicas de forma autónoma.

Peter Brodeur, investigador clínico en Harvard, explicó que, aunque la IA puede acertar en diagnósticos primarios, también puede recomendar pruebas innecesarias, lo que pone en riesgo la salud del paciente. Por ello, en la evaluación del desempeño y la seguridad en medicina, todavía se requiere la supervisión final de un humano.

Falta comparación con médicos de urgencias reales en Harvard

La médica de urgencias Kristen Panthagani también publicó que, aunque los resultados de Harvard son interesantes, han generado titulares sensacionalistas.

Ella señaló que, la investigación de Harvard compara la IA con médicos internistas, pero carece de datos comparativos con médicos de urgencias reales que ejercen en la práctica:

“Si queremos comparar las herramientas de IA con la capacidad clínica de los médicos, deberíamos empezar comparándolas con médicos que realmente ejercen en esa especialidad. No me sorprendería que los modelos de lenguaje grande (LLM) superen a dermatólogos en exámenes de neurocirugía, pero saber eso no aporta mucho en la práctica clínica.”

Indicó que, en la primera consulta, el objetivo principal del médico de urgencias es determinar si el paciente tiene una enfermedad potencialmente mortal, sin centrarse en adivinar un diagnóstico final.

El estudio de Harvard también advierte que, actualmente, no existe un marco formal de responsabilidad para los diagnósticos de IA, y los pacientes aún necesitan que los médicos humanos los guíen en decisiones críticas de vida o muerte, y en la elección de tratamientos difíciles.

El equipo de investigación hace un llamado a que la comunidad médica evalúe estas tecnologías en entornos clínicos reales mediante ensayos prospectivos rigurosos, para entender cómo desplegar de forma segura estas herramientas en la atención clínica y apoyar a los médicos humanos.

Lectura adicional:
¿Por qué la generación de IA avanza lentamente en medicina y leyes? Fundador de Replit: la verificabilidad es clave