Traducción Alejandro Garvie
Las nuevas revelaciones sobre agentes de IA “rebeldes” han puesto al descubierto un peligro distópico: si se le da un objetivo a un agente, este puede decidir que piratear, engañar o infringir las normas merece la pena a cambio de una recompensa.
Miles de millones de agentes de IA pronto podrían estar actuando en nombre de los humanos en todo el mundo real, multiplicando las consecuencias de cada resquicio, incentivo y límite que aprendan a explotar.
Los peligros potenciales del exceso de control por parte de los agentes quedaron al descubierto este fin de semana con el primer ataque informático autónomo conocido en Australia, provocado por una solicitud inocua para reservar una clase de fitness con plazas agotadas.
El asistente de inteligencia artificial de un australiano descubrió una falla de seguridad y la utilizó para inscribirlo en clases meses después del límite normal del sistema.
Cuando solicitó que lo pusieran en un puesto superior de la lista de espera, el agente fue más allá: descubrió que el sistema de reservas no tenía ninguna medida de seguridad que impidiera que un usuario cancelara la reserva de otro, y luego aprovechó la falla para expulsar a un desconocido de la lista.
El episodio del gimnasio se dio a conocer en medio de una serie de revelaciones mucho más inquietantes procedentes de la frontera de la IA, donde los agentes han recurrido a la piratería informática, el engaño y otras tácticas no autorizadas durante pruebas controladas.
En la conferencia cibernética Black Hat de la semana pasada, OpenAI reveló que sus agentes habían pasado semanas explotando la propia infraestructura de pruebas de la compañía antes de hackear la plataforma de IA Hugging Face.
Los agentes descubrieron que podían dejar mensajes para futuros agentes dentro de los sistemas de OpenAI, y convirtieron esa laguna en un tablón de anuncios improvisado para intercambiar exploits, credenciales y estrategias sin intervención humana. Cuando los investigadores de OpenAI respondieron a una caída del servidor, borraron inadvertidamente la información del tablero sin saber que existía.
En dos días, los agentes encontraron otra forma de comunicarse. Reconstruyeron su red y reanudaron la coordinación con aún mayor intensidad.
Cuando los investigadores finalmente analizaron el comportamiento de los agentes, encontraron el primer y el segundo foro de mensajes que, en última instancia, los sacaron de su entorno de prueba “sandbox” y los introdujeron en el sistema de Hugging Face.
El investigador de OpenAI, Michael Dalton, afirmó que, en un futuro próximo, “debemos esperar que los ciberdelincuentes desplieguen, optimicen, conviertan en armas y utilicen intencionadamente colectivos de agentes ofensivos de la manera que acabamos de describir”. Lo calificó como un “momento decisivo”.
En respuesta, OpenAI ha comenzado a “ralentizar conscientemente la investigación”, incluso en su último modelo, Astra, para garantizar que cuenta con las medidas de ciberseguridad adecuadas.
En decenas de casos de vulneración de la IA, los humanos definieron el objetivo, mientras que los agentes improvisaron los medios, incluso de maneras que sus usuarios o investigadores jamás imaginaron. Ante un obstáculo, los agentes siguieron buscando otra forma de superarlo. Es el mismo instinto programado —con un nivel de sofisticación mucho mayor— que provocó que un desconocido fuera excluido de la lista de espera de un gimnasio.
Estos incidentes son ejemplos claros del problema de la “alineación” de la IA, o el desafío de garantizar que el software respete los límites éticos y prácticos implícitos que los humanos damos por sentados.
Una IA entrenada para alcanzar un objetivo no hereda automáticamente el criterio humano sobre qué medios son aceptables. Si le pides que gane, puede que busque la victoria mediante métodos que jamás imaginaste o autorizaste.
Los investigadores han dedicado años a debatir sobre la alineación, principalmente mediante experimentos mentales que imaginan una futura superinteligencia que persigue un objetivo con tal determinación que destruye a la humanidad. Esa búsqueda incesante de objetivos que hace que los agentes autónomos resulten inquietantes también está produciendo algunos de los avances más extraordinarios de la IA.
Anthropic reveló el lunes que Claude logró un importante avance en un problema matemático de 167 años de antigüedad que generaciones de matemáticos han intentado resolver, después de haber descartado 650 ideas fallidas. La persona encargada de supervisar la iniciativa dijo que su participación se limitaba principalmente a palabras de aliento, como “sigue adelante” y “cree en ti mismo.
En resumen: la promesa y el peligro de los agentes de IA provienen de la misma fuente: máquinas que no se detienen hasta encontrar una solución.
Link https://www.axios.com/2026/08/11/ai-agents-rogue-autonomy-hugging-face
