Traducción Alejandro Garvie
A medida que países como los Emiratos Árabes Unidos delegan cada vez más la toma de decisiones a algoritmos, a menudo con escasa transparencia, los riesgos ya no son hipotéticos. La evidencia demuestra que estos sistemas pueden causar daños generalizados, erosionar la rendición de cuentas democrática y concentrar el poder en manos de los gigantes tecnológicos.
A principios de este mes, los Emiratos Árabes Unidos anunciaron un plan para que la mitad de sus servicios gubernamentales funcionen con inteligencia artificial (IA) en los próximos dos años. Según este plan, la IA actuará como un “socio ejecutivo” que “analiza, decide, ejecuta y mejora en tiempo real” sin intervención humana. Tras haber dedicado nuestras carreras profesionales a la intersección del emprendimiento, la investigación y la política digital, podemos afirmar con seguridad que este plan es imprudente. Y dado que los Emiratos Árabes Unidos se presentan como un modelo digital global, otros gobiernos se verán presionados a seguir su ejemplo.
Ese es un peligro que no debemos ignorar. Ya sabemos lo que ocurre cuando los gobiernos delegan la toma de decisiones en algoritmos. En 2021, un sistema de autoaprendizaje en los Países Bajos acusó erróneamente a unas 35 000 familias de fraude en las ayudas para el cuidado infantil. Se ordenó a los padres que devolvieran decenas de miles de euros que nunca debieron; se perdieron viviendas; y más de 2000 niños fueron puestos bajo la tutela del Estado.
Este resultado, de hecho, estaba contemplado en el diseño del sistema. La doble nacionalidad y los nombres de origen extranjero se consideraban factores de riesgo, lo que incorporaba la discriminación ilegal directamente en el modelo. El resultado fue un escándalo nacional que, en última instancia, provocó la dimisión del gobierno del entonces primer ministro Mark Rutte.
Una dinámica similar se dio en Australia. Entre 2015 y 2019, el programa Robodebt persiguió a 433 000 beneficiarios de asistencia social por 1700 millones de dólares australianos (1200 millones de dólares estadounidenses) en supuestas deudas ilegales. El daño fue profundo: algunas madres testificaron que sus hijos se suicidaron tras recibir notificaciones de deuda que no pudieron impugnar. Posteriormente, una Comisión Real dictaminó que el programa no era ni justo ni legal.
Mientras tanto, en Estados Unidos, Arkansas e Idaho sustituyeron a las enfermeras por algoritmos para evaluar la elegibilidad y el nivel de atención domiciliaria. De la noche a la mañana, la atención que recibían las personas con parálisis cerebral, cuadriplejia y esclerosis múltiple se redujo entre un 20 % y un 50 %. Los tribunales finalmente ordenaron la suspensión del uso de estos sistemas, pero no antes de que el daño ya estuviera hecho. Algunos pacientes quedaron sin el apoyo adecuado, lo que provocó complicaciones médicas prevenibles.
Cada uno de estos casos involucraba un único sistema dentro de una única agencia. Ahora imaginen que dichos sistemas gestionaran la mitad de todos los servicios gubernamentales, como propone el plan de los Emiratos Árabes Unidos.
Consideremos, por ejemplo, a una madre soltera cuyos subsidios para el cuidado de sus hijos se congelan después de que un agente de IA detecta su actividad bancaria, obligándola a lidiar con un proceso de apelación que la envía de un sistema automatizado a otro, sin ningún punto de contacto humano, justo cuando vence el plazo para pagar el alquiler. ¿Qué ocurre con un trabajador migrante al que se le deniega la renovación de su residencia porque el sistema no puede procesar los documentos de su empleador, dejándolo prácticamente indocumentado? ¿O con una anciana viuda cuya pensión se suspende porque dos bases de datos entran en conflicto y no logra comprender la interfaz?
No se trata de hipótesis. Son patrones documentados que la IA con capacidad de gestión de agentes intensifica de manera que ningún programa de capacitación puede abordar dentro del plazo de dos años de los Emiratos Árabes Unidos.
Se destacan tres riesgos clave. El primero es la escala: cuando un trabajador social comete un error, una persona sufre las consecuencias; cuando lo hace un agente de IA, miles pueden verse afectadas antes de que nadie se dé cuenta.
Luego está la opacidad de la toma de decisiones de la IA. Dado que los sistemas de agentes toman decisiones en secuencia, donde cada paso se basa en el anterior, el rastro causal se pierde prácticamente para cuando el daño se hace visible. El sistema algorítmico de beneficios de salud de Arkansas ofrece un claro ejemplo. Nadie, ni siquiera sus creadores, pudo explicar completamente cómo funcionaba, lo que llevó a un tribunal federal a describirlo como “sumamente irracional”. Además, la falta de transparencia puede estar integrada en los secretos comerciales o en los marcos de propiedad intelectual subyacentes a los algoritmos.
Por último, los sistemas de IA invierten la carga de la prueba, obligando a los ciudadanos a demostrar su inocencia en lugar de exigir al Estado que justifique sus acciones. Como demostraron el escándalo de las ayudas para el cuidado infantil en los Países Bajos y el programa de cobro automático de deudas en Australia, quienes menos recursos tienen —personas con poco tiempo, dinero, dominio del idioma y acceso limitado a asistencia jurídica— son los más perjudicados.
Los Emiratos Árabes Unidos afirman que el principio rector de su programa de IA es “las personas primero”. Sin embargo, su diseño sugiere lo contrario. Un gobierno que evalúa a los ministerios según la “velocidad de adopción” y el “dominio de la IA” no se centra en lo que realmente importa, sino que replica la misma lógica de eficiencia que ya ha causado graves daños en todo el mundo. La velocidad de adopción es una métrica que depende del proveedor. Pero la responsabilidad fundamental de un gobierno es un deber de diligencia basado en el juicio humano.
Esto concuerda con las expectativas ciudadanas de que el gobierno sea responsable y transparente, y que explique las decisiones que afectan sus derechos y libertades. Cuando los gobiernos adoptan con entusiasmo la toma de decisiones autónoma en nombre de la eficiencia, en realidad están renunciando a esa responsabilidad.
Todos los escándalos relacionados con algoritmos de los últimos años han planteado las mismas preguntas fundamentales: ¿Quién está al mando y quién toma las decisiones? En un gobierno dirigido por IA con capacidad de gestión, estas preguntas ya no tienen respuestas claras. El sistema decide, se actualiza y sigue adelante, dejando a los ciudadanos sin posibilidad de recurso cuando las cosas salen mal.
Con la llegada de la IA, la rendición de cuentas democrática se erosiona no mediante una toma de poder manifiesta, sino a través de una serie de decisiones de contratación que, de forma silenciosa, desplazan la supervisión humana. Al minar la confianza en las instituciones en un momento en que esta ya es peligrosamente baja, estos sistemas, en última instancia, sirven a los intereses de los gigantes tecnológicos que impulsan la revolución de la IA.
Pero no tiene por qué ser así. Los Emiratos Árabes Unidos cuentan con los recursos, el talento y la estabilidad política necesarios para construir un gobierno digital genuinamente centrado en las personas, que podría establecer el estándar mundial al complementar, en lugar de reemplazar, la toma de decisiones humanas.
Las consecuencias de este error no se limitarán a los Emiratos Árabes Unidos. Las sufrirá una madre soltera en otro país cuyos beneficios se verán reducidos por un algoritmo cuya existencia desconocía, y muchísimas otras personas como ella en todo el mundo.
