Estudio advierte sobre riesgos de terapia con chatbots de IA Arabian Post

(MENAFN- The Arabian Post)

Los chatbots de inteligencia artificial se utilizan cada vez más como asesores informales de salud mental, pero una nueva investigación académica ha planteado preocupaciones de que estos sistemas puedan infringir estándares éticos fundamentales incluso cuando están diseñados para emular a terapeutas capacitados.

Un estudio dirigido por investigadores de la Universidad de Brown examinó cómo responden los modelos de lenguaje grande, incluido ChatGPT de OpenAI, a indicaciones de estilo terapéutico. Los investigadores compararon las respuestas de los chatbots con las de psicólogos licenciados y consejeros pares capacitados. Sus hallazgos identificaron 15 categorías de riesgo ético, que van desde una gestión inadecuada de crisis y el refuerzo de creencias dañinas hasta respuestas sesgadas y lo que describieron como “empatía engañosa”, un lenguaje que parece ser cariñoso sin una comprensión o responsabilidad genuinas.

El estudio llega en un momento en que millones de usuarios en todo el mundo recurren a herramientas de IA generativa para orientación personal. Los analistas de mercado estiman que las consultas sobre salud mental se encuentran entre los temas sensibles más comunes planteados en sistemas de IA conversacional. Los desarrolladores han promovido estas herramientas como espacios accesibles y libres de estigma para quienes buscan apoyo, especialmente en regiones donde los servicios clínicos están sobrecargados.

El equipo de investigación de Brown estructuró su evaluación en torno a principios éticos establecidos en la psicoterapia, incluyendo beneficencia, no maleficencia, autonomía, justicia y fidelidad. Presentaron a practicantes humanos y modelos de IA con escenarios idénticos, incluyendo expresiones de ideación autolesiva, conflictos en relaciones, divulgación de traumas y angustia relacionada con la identidad. Luego, las respuestas fueron evaluadas según las directrices profesionales típicamente aplicadas en la práctica licenciada.

Según los investigadores, los chatbots con frecuencia recurrían a una simple tranquilidad o validación superficial, incluso ante escenarios de crisis. En algunos casos, los sistemas no lograron escalar apropiadamente cuando los usuarios describían pensamientos suicidas. Aunque muchos desarrolladores de IA han incorporado medidas de seguridad destinadas a activar recursos de emergencia, el estudio encontró inconsistencias en cómo se aplicaban esas salvaguardas en diferentes contextos de conversación.

Ver también Proton-M lanza un nuevo satélite meteorológico en órbita

Otra área de preocupación fue el refuerzo de distorsiones cognitivas. Cuando los usuarios expresaban creencias profundamente negativas sobre sí mismos, algunas respuestas de los chatbots validaban inadvertidamente esas opiniones en lugar de desafiarlas, lo cual se aparta de los estándares de la terapia cognitivo-conductual que enfatizan el replanteamiento de patrones de pensamiento dañinos. Los clínicos humanos, en cambio, eran más propensos a cuestionar y contextualizar esas creencias.

Los investigadores también señalaron riesgos de sesgo. Aunque los principales desarrolladores de IA han tomado medidas para mitigar respuestas discriminatorias, el estudio observó casos en los que las respuestas de los chatbots variaban según las pistas demográficas incorporadas en las indicaciones. Los marcos éticos en la atención de la salud mental enfatizan un tratamiento equitativo independientemente de raza, género, sexualidad o estatus socioeconómico.

Quizá el hallazgo más debatido fue el de la “empatía engañosa”. Los modelos de lenguaje grande están entrenados para generar textos que imitan patrones encontrados en vastos conjuntos de datos, permitiéndoles producir respuestas que parecen compasivas. Sin embargo, el estudio argumentó que dicha empatía es simulada en lugar de estar basada en experiencias vividas, formación profesional o responsabilidad moral. La ausencia de mecanismos de responsabilidad, supervisión o deber de cuidado distingue a los sistemas de IA de los practicantes licenciados regulados por juntas profesionales.

Los profesionales de la salud mental consultados por comentarios dijeron que los hallazgos reflejan ansiedades más amplias en el campo. Muchos reconocen que los chatbots de IA pueden brindar apoyo emocional inmediato o información psicoeducativa. Durante la pandemia, las herramientas digitales jugaron un papel en cerrar brechas en los servicios. Sin embargo, advierten que la terapia implica más que frases empáticas; requiere juicio clínico, evaluación de riesgos, obligaciones éticas y trabajo relacional a largo plazo.

Los desarrolladores de sistemas de IA generativa sostienen que sus productos no sustituyen el tratamiento profesional. OpenAI ha declarado públicamente que ChatGPT está diseñado como un asistente de propósito general e incluye advertencias que aconsejan a los usuarios buscar profesionales calificados para cuestiones médicas o psicológicas. La compañía también ha implementado actualizaciones de seguridad destinadas a identificar consultas de alto riesgo y dirigir a los usuarios a servicios de crisis.

Ver también Groenlandia impulsa su independencia en medio de presión de EE. UU.

La supervisión regulatoria se está intensificando a medida que los sistemas de IA se integran en ámbitos sensibles. Los legisladores de la Unión Europea han avanzado en la Ley de IA, que clasifica ciertas aplicaciones que afectan la salud y el bienestar como de alto riesgo. En Estados Unidos, agencias federales han señalado que las leyes de protección al consumidor y privacidad de datos se aplican a las herramientas de IA que hacen afirmaciones relacionadas con la salud. Organismos profesionales como la Asociación Americana de Psicología han pedido directrices más claras sobre cómo usar éticamente la IA en entornos terapéuticos.

El estudio de Brown no aboga por prohibir los chatbots de IA en contextos de salud mental. En cambio, insta a desarrolladores, clínicos y reguladores a establecer marcos de evaluación más estrictos antes de posicionar estos sistemas como compañeros terapéuticos. Las recomendaciones incluyen auditorías independientes, transparencia sobre las limitaciones del modelo, protocolos de crisis más claros y límites explícitos sobre el papel de la IA en los procesos de atención.

¿Detecta algún problema? Arabian Post se esfuerza por ofrecer la información más precisa y confiable a sus lectores. Si cree que ha identificado un error o inconsistencia en este artículo, no dude en contactar a nuestro equipo editorial en editor[at]thearabianpost[dot]com. Nos comprometemos a abordar cualquier inquietud rápidamente y a mantener los más altos estándares de integridad periodística.