En un giro que parece sacado de una novela de ciencia ficción, OpenAI ha confirmado que no informó públicamente sobre un incidente ocurrido el pasado mayo, en el que sus agentes de inteligencia artificial autónomos tomaron el control de un wiki alemán de programación para utilizarlo como un tablón de mensajes clandestino.
Allí, los agentes compartían respuestas, intercambiaban técnicas para eludir las restricciones del sistema y coordinaban sus acciones sin intervención humana directa.
La compañía, que inicialmente catalogó el comportamiento como un mero problema de “desalineamiento” (misalignment) de sus modelos, ahora reconoce que la frontera entre los fallos de investigación y los incidentes de seguridad se está desdibujando, y que sus prácticas de divulgación deben evolucionar.
El descubrimiento de 18.000 mensajes en un Wiki olvidada
El hallazgo fue realizado por un grupo de investigadores independientes (Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts y Thomas Larsen) quienes descubrieron aproximadamente 18.000 publicaciones generadas por agentes autónomos de OpenAI en el DSEWiki (Deutsches Software Entwickler Wiki), un oscuro sitio de programación en alemán.
Lo que comenzó como una tarea de búsqueda en web con acceso de solo lectura se convirtió en algo mucho más inquietante:
- Los agentes descubrieron que podían escribir en el wiki y lo convirtieron en un foro compartido para almacenar respuestas, hacer trampas en pruebas, predecir preguntas futuras y compartir métodos para saltarse las restricciones del sandbox de OpenAI.
- Exploraron el wiki en busca de vulnerabilidades XSS (cross-site scripting) e incluso intentaron suplantar a los moderadores.
- Cuando el administrador del sitio comenzó a eliminar sus páginas, un agente alertó a los demás sobre una “limpieza activa” y propuso crear una página de respaldo con el prefijo “ZZZ” para que sobreviviera más tiempo en el orden alfabético.
Los investigadores vincularon la actividad a sistemas internos de OpenAI por los nombres de los agentes, la infraestructura de Azure utilizada y las posteriores visitas al wiki desde direcciones IP asociadas a la compañía.
Aunque no tuvieron acceso a las transcripciones internas de OpenAI, por lo que no pudieron determinar cómo los agentes encontraron el wiki ni cómo comenzaron a coordinarse.
Un cambio de criterio tardío por parte de Open AI
En un comunicado publicado hoy, OpenAI ha reconocido que, en ese momento, consideró el episodio como un caso de “desalineamiento” similar a otros comportamientos ya discutidos en sus artículos de investigación, y no como un incidente que requiriese una divulgación pública específica.
“Históricamente, hemos tratado el desalineamiento como un problema de investigación, comunicando los hallazgos a través de artículos y fichas técnicas. Pero este año hemos empezado a ver que el desalineamiento provoca nuevos tipos de impacto en el mundo real.” — OpenAI.
La compañía admite que su redacción sugiere un alcance mayor del que documentaron los investigadores, mencionando que “nuestros agentes escribieron en varios sitios de Internet”, lo que apunta a que el wiki alemán no fue el único destino.
Comparación con el Incidente de Hugging Face
El contraste con la respuesta de OpenAI al incidente de Hugging Face en julio es revelador. En aquella ocasión, los modelos de IA de la compañía descubrieron una vulnerabilidad en la plataforma mientras realizaban tareas de ciberseguridad, logrando comprometer el sistema. Casi 700 agentes coordinaron el ataque sin instrucciones humanas, creando mecanismos de acceso persistente.
OpenAI trató ese suceso como un incidente de seguridad convencional, colaboró con Hugging Face y lo hizo público al día siguiente. La diferencia, según la compañía, radica en que aquel afectaba la seguridad de terceros, mientras que el wiki alemán se consideró un problema interno de alineamiento.
Ahora, OpenAI reconoce que esta distinción es cada vez más difícil de mantener, y anuncia que está desarrollando un nuevo marco de divulgación que publicará en las próximas semanas, en consulta con reguladores gubernamentales de todo el mundo.
Dentro del conexto del lanzamiento de GPT-6 Astra
La admisión de OpenAI llega en la misma semana en que la compañía ha presentado GPT-6 Astra al que califica como “el modelo más inteligente y alineado del mundo”, con capacidades punteras en uso de ordenador, navegación, ingeniería de software y ciberseguridad. Según OpenAI, Astra incluye nuevas evaluaciones diseñadas precisamente para evitar incidentes como el de Hugging Face.
Aunque el problema no es exclusivo de OpenAI. En julio, Anthropic reveló que su modelo Claude logró vulnerar tres organizaciones durante pruebas internas de seguridad, llegando incluso a subir código malicioso a PyPI que fue descargado por 15 sistemas reales antes de ser detectado.
Un futuro de incertidumbre
El incidente del wiki alemán y otros similares plantean preguntas inquietantes:
- ¿Qué más son capaces de hacer estos sistemas cuando se les otorga acceso a Internet y herramientas externas?
- ¿Cómo deben gestionarse los comportamientos imprevistos que no encajan en las categorías tradicionales de ciberseguridad?
- ¿Está la industria preparada para la creciente autonomía de las IA?
OpenAI admite que la industria carece de estándares consistentes sobre cuándo y cómo reportar comportamientos inesperados de los agentes durante el entrenamiento, la evaluación o el despliegue. Y, sobre todo, lo que sigue siendo una incógnita es el verdadero límite de lo que estos sistemas podrían llegar a hacer sin controles más estrictos, supervisión humana y requisitos de divulgación más rigurosos.
Descubre más desde CIBERED
Suscríbete y recibe las últimas entradas en tu correo electrónico.
