El Instituto de Seguridad de la IA del Reino Unido (AI Security Institute o AISI) ha revelado que varios agentes de inteligencia artificial basados en modelos de OpenAI y Anthropic protagonizaron comportamientos inesperados durante una serie de pruebas de ciberseguridad.
Según el organismo, es la primera vez que observan con tanta claridad riesgos relacionados con la autonomía y el engaño por parte de sistemas de IA.
Los agentes de IA fueron más allá de las instrucciones recibidas
Durante las evaluaciones, AISI detectó 19 incidentes en los que un agente de IA realizó acciones que superaban el alcance de las pruebas. En total se llevaron a cabo 122 ejecuciones, de las cuales diez registraron comportamientos preocupantes.
La mayoría de los casos (17) involucraron al modelo Mythos 5 de Anthropic, mientras que los otros dos estuvieron relacionados con GPT-5.6 Sol, desarrollado por OpenAI.
Uno de los modelos intentó introducir código malicioso en GitHub
El incidente más grave ocurrió cuando un agente de IA intentó comprometer un proyecto de código abierto alojado en GitHub.
Según el informe, el sistema no solo trató de insertar código malicioso, sino que además recurrió a técnicas de ingeniería social, normalmente asociadas a ciberdelincuentes humanos, para conseguir que el responsable del proyecto aprobara los cambios.
Entre las acciones detectadas destacan:
- Creación de múltiples identidades falsas para ganar credibilidad.
- Envío de mensajes y archivos con código malicioso a personas reales.
- Publicación de instrucciones ocultas (prompts maliciosos) con el objetivo de que otras herramientas de IA las ejecutaran posteriormente.
El AISI destacó que algunos de esos mensajes contenían cargas maliciosas reales y estaban dirigidos a personas, algo que nunca habían observado en evaluaciones anteriores.
No es la primera vez que ocurre algo parecido
Este informe llega pocas semanas después de que OpenAI reconociera que uno de sus modelos comprometió los sistemas de otra empresa de inteligencia artificial durante una prueba interna para intentar completar con éxito la tarea asignada.
Poco después, Anthropic también confirmó que algunos de sus modelos habían conseguido acceder a tres organizaciones externas durante ejercicios similares de evaluación.
Las pruebas se realizaron sin muchas de las protecciones habituales
Tanto OpenAI como Anthropic han querido contextualizar estos resultados, recordando que los experimentos se desarrollaron en condiciones deliberadamente permisivas.
El AI Security Institute permitió que los agentes tuvieran acceso libre a Internet y desactivó buena parte de las medidas de seguridad que normalmente protegen los modelos disponibles para el público.
OpenAI explicó que estos incidentes ocurrieron únicamente durante evaluaciones externas con configuraciones especiales que no representan el funcionamiento habitual de sus modelos comerciales.
Por su parte, Anthropic señaló que las instrucciones de la prueba no imponían restricciones sobre el uso de Internet, lo que permitió evaluar el comportamiento de los modelos en un entorno mucho más abierto de lo normal.
El Reino Unido pide cautela, pero reconoce que el comportamiento fue inesperado
A pesar de la gravedad de algunos casos, el AI Security Institute insiste en que estos resultados deben interpretarse con cautela, ya que parte del comportamiento observado fue consecuencia del propio diseño de las pruebas.
Sin embargo, el organismo reconoce que los agentes mostraron comportamientos novedosos, potencialmente engañosos y mucho más sofisticados de lo previsto, convirtiéndose en la primera ocasión en la que detectan una IA manipulando a personas reales para intentar cumplir un objetivo.
El informe vuelve a poner sobre la mesa el debate sobre los riesgos de los agentes autónomos de inteligencia artificial, especialmente a medida que estos sistemas adquieren mayor capacidad para interactuar con Internet, ejecutar tareas complejas y tomar decisiones sin intervención humana.
