menu
Opinión 24 01 2021

Cómo los predictores de epidemias se equivocaron


Autor: Branko Milanovic









Traducción Alejandro Garvie.

En octubre de 2019, la Escuela de Políticas Públicas, la Iniciativa de Amenazas Nucleares y la Unidad de Inteligencia de The Economist de la Universidad Johns Hopkins publicaron, con una difusión significativa, el Primer Informe de Preparación para la Salud Mundial y un Índice de Seguridad Sanitaria Mundial. Afirmó estudiar el grado de preparación para enfrentar las epidemias país por país. En un informe de 324 páginas (además de un sitio web que permite explorar países individuales), los autores utilizaron seis dimensiones (o categorías) para evaluar la preparación general de los países: prevención de la aparición de patógenos, detección temprana, respuesta rápida, robustez del sistema de salud, el compromiso de mejorar la capacidad sanitaria nacional y el entorno de riesgo general (del país). Las seis categorías mismas se construyeron a partir de 34 indicadores, 85 subindicadores y 140 preguntas. Luego, los autores combinaron estas seis dimensiones en una puntuación general, determinando el índice de Seguridad Sanitaria Global (GHS).

El índice GHS clasificó 195 países según el número de puntos que han obtenido en todas las categorías. El rango era teóricamente de 0 a 100, pero el rango real fue de 16,5 (el país menos preparado; Guinea Ecuatorial) a 83,5 (el mejor preparado). Los tres países al tope de la lista fueron Estados Unidos, Reino Unido y Holanda.

La "suerte" quiso que, menos de dos meses después de la publicación del primer índice de preparación global, el covid-19 golpeó al mundo con una ferocidad inusual. Por lo tanto, es razonable preguntar cómo se ven los juicios de los expertos sobre la preparación de varios países en comparación con los resultados reales en la lucha contra el covid-19. Para este último, utilizamos el número de muertes por covid-19 por millón de habitantes al 21 de enero de 2021. Los datos se recopilan de Worldometer. Los datos de muerte están sujetos a muchas cuestiones, desde la subestimación en muchos países (como lo muestra la estadística alternativa de exceso de muertes) hasta una sobreestimación menos frecuente pero posible. Abordaré estos problemas brevemente a continuación, y de hecho será interesante comparar el índice GHS con el exceso de datos de muerte también.

Si GHS pudiera predecir bien los resultados de covid, esperaríamos que los países con una puntuación alta tuvieran tasas más bajas de muertes. O, alternativamente, podríamos ignorar la medida cardinal y observar los rangos en los que esperaríamos que los países mejor clasificados, según el GHS, también tuvieran una clasificación más alta en términos de su éxito en la lucha contra el virus (es decir, tendrían relativamente menos muertes). La segunda comparación es, en cierto sentido, mejor porque sus requisitos son menores: requiere que el GHS haya logrado corregir en términos generales la clasificación de los países, no necesariamente que haya capturado con éxito las diferencias absolutas en los resultados.

Por último, tengamos en cuenta que el GHS en principio ya incluye toda la información que se considera relevante para combatir la pandemia. Por lo tanto, agregarle factores que creemos que podrían explicar el resultado es inconsistente. Todo lo que los expertos consideraron relevante se incluyó, por definición, en el índice GHS. Nuestro objetivo es, por lo tanto, probar qué tan exitosos fueron los expertos en la elección de los factores relevantes, en la asignación de los pesos correctos y en la elaboración de un índice general.

La respuesta es sorprendente. El índice GHS no solo es incapaz de predecir los resultados, es decir, no solo es ortogonal (no relacionado) con los resultados, sino que sus clasificaciones eran a menudo inversas de las clasificaciones de éxito observadas actualmente. Los dos gráficos siguientes muestran los resultados. El gráfico de la izquierda muestra que el índice GHS está relacionado positivamente con la tasa de muertes, todo lo contrario de lo que esperábamos. El gráfico de la derecha muestra que los países de alto rango, como el No. 1, Estados Unidos, el No. 2, el Reino Unido, o el No. 3, Holanda, se encuentran entre los de peor desempeño. Si el índice hubiera obtenido las clasificaciones correctamente, habríamos esperado una línea con pendiente positiva de 45 grados. Por el contrario, vemos que los EE.UU. está en el puesto 145 º (de 153 países) de acuerdo con su tasa de mortalidad: ¡la diferencia entre su rango previsto y real es de 144 posiciones! El Reino Unido, clasificada por el índice de preparación como el segundo mejor, es 149 º acuerdo con los resultados reales.

Para muchos países ricos, las brechas en los rangos entre el desempeño previsto y el observado son enormes: para dar algunos ejemplos, para Francia 124 posiciones, Italia 119 posiciones, Canadá 99 posiciones, Alemania 97 posiciones. Por otro lado, el desempeño de muchos países fue mucho mejor de lo que predijeron los expertos: Vietnam ocupó el puesto 47, pero en términos de rendimiento es el número 4; China 48 y 8; Cuba 95 y 19. Por lo tanto, existen muchas discrepancias evidentes: Tailandia y Suecia están clasificadas una al lado de la otra: la primera registró 1 muerte por millón, la segunda 1078. Singapur y Argentina también están clasificadas juntas: Singapur tuvo 5 muertes (por millón), Argentina 1020. Se pueden hacer fácilmente varias docenas de comparaciones similares.

El ejercicio muestra inequívocamente que los resultados previstos fueron muy diferentes (en algunos casos, todo lo contrario) de los resultados reales. Hay dos posibles defensas que pueden hacer los autores del índice.

Primero, es muy probable que las muertes relativas estén mal medidas. Pero ese argumento se ve debilitado por el hecho de que las diferencias en las tasas de mortalidad entre los buenos y los malos resultados son enormes. A menudo son diferentes en varios órdenes de magnitud: las muertes por millón fueron (al 21 de enero de 2021), 1266 en los EE.UU., 1 en Tailandia, 3 en China, 16 en Cuba. Sin embargo, las muertes mal medidas se encuentran en los últimos tres países, no pueden subestimarse más de 1200 veces en Tailandia, 400 veces en China u 80 veces en Cuba. Además, para que el índice tenga sentido, igualar a China, Tailandia y Cuba con los EE.UU., El Reino Unido y los Países Bajos no es suficiente: habría que demostrar que China, Tailandia y Cuba lo hicieron (como predijo el índice) mucho peor, por lo que los requisitos de medición incorrecta de la muerte se vuelven verdaderamente astronómicos. Por lo tanto, es casi seguro que el ejercicio que podría usar tasas de mortalidad excesivas en lugar de muertes informadas encontrará la misma falta de correlación entre los resultados previstos y los reales.

La segunda defensa es que las predicciones aquí hechas se referían en general a epidemias, mientras que el covid-19 es una epidemia muy específica que tiende a ser mucho más fatal para la población anciana u obesa. Según ese argumento, si los autores hubieran conocido las características del covid-19, habrían producido un mejor índice de GHS. Esto es muy posible. Pero eso contradice la idea misma que subyace al índice. Si cada epidemia es muy idiosincrásica, ¿cuál es el propósito de tener un índice general de SGA? Supongamos que la próxima epidemia mata a personas con ojos azules. Dado que no sabemos que se producirá una epidemia de este tipo, ¿qué información útil se puede obtener del índice GHS? Entonces, razonablemente podríamos hacer una clasificación de países completamente aleatoria, si cada epidemia es completamente específica y sus efectos no se pueden pronosticar.

Por lo tanto, no hay escape a la triste conclusión sobre un índice cuyo objetivo era resaltar las fortalezas y debilidades en el manejo de epidemias potenciales, ha fallado totalmente o ha sido inútil. Uno puede elegir una u otra de estas dos conclusiones igualmente condenatorias. Pero también debemos hacer dos comentarios adicionales. Primero, estudie los (pocos) casos en los que el índice predijo con éxito el rendimiento (se encuentran en la esquina SO del segundo gráfico: Tailandia, Australia, Singapur, Japón, Corea). En segundo lugar, tenga cuidado con los índices similares que se producen para otras variables como la corrupción, la transparencia en el gobierno y similares. También parecen "razonables" hasta que se enfrentan a la realidad y pueden reflejar el pensamiento de la cámara de eco de los expertos.   

Publicado en Global Inequlity en enero de 2021.

Link https://glineq.blogspot.com/2021/01/beware-of-mashup-indexes-how-epidemic.html