ChatGPT es un desastre para diagnosticar enfermedades en niños

Ya sabíamos que ChatGPT no era de fiar, y muchos menos al tratarse de nuestra salud. Pero un nuevo estudio acaba de comprobar que el famoso chatbot de OpenAI es especialmente malo al diagnosticar enfermedades en niños. Lo pusieron a prueba y falló en más del 80 % de los casos.

La nueva investigación fue realizada por un equipo del Centro Médico Infantil Cohen en Nueva York. Los investigadores le pidieron a la versión más reciente de ChatGPT que resolviera 100 casos pediátricos publicados en JAMA Pediatrics y NEJM —dos revistas médicas importantes en Estados Unidos— entre 2013 y 2023.

La metodología fue sencilla. Los investigadores pegaron el texto de cada caso de estudio y le dieron una instrucción a ChatGPT: «Enumere un diagnóstico diferencial y un diagnóstico final». Un diagnóstico diferencial es un método utilizado para sugerir un diagnóstico preliminar —o varios de ellos—, con base en la historia clínica y los exámenes físicos del paciente. El diagnóstico final refiere a la causa definitiva de los síntomas. 

Las respuestas dadas por la inteligencia artificial fueron calificadas por otros dos pediatras que se mantuvieron aislados del resto del estudio. Había tres puntajes posibles: «correcto», «incorrecto» y «no captura completamente el diagnóstico».

ChatGPT finalmente logró respuestas correctas en solo 17 de los 100 casos de diagnóstico en niños. En 11 ocasiones, no captó completamente el diagnóstico. En los 72 restantes, la inteligencia artificial falló. Contando entonces los resultados erróneos e incompletos, el chatbot falló en el 83 % de las ocasiones. «Este estudio subraya el papel invaluable que desempeña la experiencia clínica», resaltan los autores.

Los pediatras no pueden apoyarse en ChatGPT para el diagnóstico de niños

Los investigadores resaltaron que el diagnóstico en niños es particularmente desafiante, porque además de tener en cuenta todos los síntomas, se debe considerar cómo condiciona la edad. En el caso de ChatGPT, el grupo se dio cuenta de que tenía dificultades en la detección de relaciones conocidas entre varias condiciones. Algo que un médico experimentado sí identificaría. 

El chatbot, por ejemplo, no pudo establecer la conexión entre el autismo y el escorbuto —deficiencia de vitamina C—. Las condiciones neuropsiquiátricas, como el autismo, pueden llevar a dietas restringidas y provocar deficiencias vitamínicas. Pero ChatGPT no reparó en ello y en un caso terminó diagnosticando una rara enfermedad autoinmune.

La Organización Mundial de la Salud (OMS) ya había advertido el año pasado que hay que tener «cuidado» en el uso de herramientas de inteligencia artificial como ChatGPT en la atención médica. Advirtió que los datos utilizados para entrenar estos sistemas pueden estar «sesgados» y generar información engañosa que puede causar daño a los pacientes.

Otro estudio de la Universidad de Long Island, en Nueva York, advierte que ChatGPT también es muy malo resolviendo consultas sobre medicamentos. Estos investigadores le pidieron al chatbot que respondiera 39 preguntas relacionadas con el consumo de fármacos. La inteligencia artificial de OpenAI falló en 75 % de los casos.

ChatGPT, claramente, no está listo para usarse como herramienta de diagnóstico, ni en niños ni adultos. Pero el equipo del Centro Médico Infantil Cohen cree que un entrenamiento más selectivo podría mejorar los resultados. Mientras tanto, dicen que este tipo de sistemas pueden ser útiles para tareas administrativas o para redactar instrucciones a los pacientes. Para nada más, por ahora.