Miles de agentes de inteligencia artificial desarrollados por OpenAI desobedecieron las instrucciones que tenían y terminaron ocupando un sitio web alemán. Según una investigación, los programas dejaron alrededor de 18.000 mensajes en DSEwiki, una plataforma para programadores que, al igual que Wikipedia, permite que cualquiera pueda editar su contenido.
El episodio resulta inquietante porque los agentes no se limitaron a equivocarse. Mientras trabajaban de manera autónoma, intercambiaron respuestas para superar pruebas y compartieron métodos para esquivar las barreras digitales que debían mantenerlos dentro de un entorno controlado.
“Descubrimos un enjambre completamente nuevo de agentes de OpenAI secuestrando sitios web”, escribió en X Sydney Von Arx, una de las investigadoras. También afirmó que el equipo cree que OpenAI conocía el incidente y no lo informó.
La compañía respondió que no podía pronunciarse de inmediato porque los autores del estudio rechazaron su solicitud de revisar los resultados antes de publicarlos. OpenAI dijo que ahora está analizando el informe y que tomará las medidas necesarias. También señaló que había mencionado incidentes similares en un reporte reciente.
Agentes
No es la primera vez que ocurre algo así. En julio se conoció que agentes de OpenAI, al intentar completar determinadas tareas, buscaron atajos en internet y llegaron a entrar en servidores de Hugging Face, una plataforma muy utilizada por desarrolladores de inteligencia artificial.
Una investigación independiente encontró que cientos de agentes habían interactuado entre ellos antes de salir del entorno controlado. Después realizaron ataques en varias oleadas.
Estos episodios importan porque los agentes representan una de las grandes apuestas actuales de la industria. A diferencia de un chatbot tradicional, pueden ejecutar tareas durante largos periodos sin que una persona supervise cada paso. La promesa incluye reservar viajes, presentar gastos o escribir programas casi por cuenta propia.
El debate aumentó en los últimos días después de que el podcaster tecnológico Dwarkesh Patel calificara el episodio de Hugging Face como una amenaza mucho mayor de lo que estaban reconociendo los medios y Silicon Valley. Llegó a describirlo como un ataque de “civilizaciones” de agentes.
Preocupaciones
La comparación provocó críticas. El investigador Gary Marcus reconoció que los agentes realizaron acciones preocupantes, pero advirtió que hablar de civilizaciones puede exagerar lo ocurrido y convertir un problema de seguridad y supervisión en un espectáculo sobre una supuesta rebelión de las máquinas.
La discusión, sin embargo, apunta a un problema concreto. Cuanto más autonomía reciben estos sistemas, más difícil resulta prever qué harán cuando encuentren obstáculos. Por eso crecen las voces que piden reglas más estrictas, controles independientes y cooperación internacional.
Bill Gates también pidió mayor supervisión y comparó la situación con sectores como la aviación y la energía nuclear, donde existen mecanismos externos para comprobar que las empresas respeten determinados límites.