El método, denominado Agent Data Injection (ADI), logra que un agente de IA confíe en información manipulada haciéndola pasar por datos de origen legítimo.
Los investigadores no han encontrado evidencias de ataques reales, pero advierten de que los sistemas actuales necesitan reforzar sus mecanismos de autorización.
Un equipo de investigadores de la Universidad Nacional de Seúl (SNU), la Universidad de Illinois Urbana-Champaign (UIUC) y la empresa Largosoft ha presentado una nueva técnica de ataque contra agentes de inteligencia artificial denominada Agent Data Injection (ADI).
El estudio, publicado en arXiv, describe una forma de manipular el contexto que reciben los modelos para inducirlos a realizar acciones basadas en información falsa que aparenta ser confiable.
A diferencia de los ataques tradicionales de prompt injection, que introducen instrucciones maliciosas en contenido no confiable, ADI falsifica campos de datos que el agente suele considerar fiables, como identificadores de elementos de una página web, identidades de remitentes, resultados de herramientas o registros de acciones anteriores.
El resultado es que el agente continúa ejecutando correctamente la tarea solicitada por el usuario, pero toma decisiones apoyándose en información manipulada.
¿Cómo funciona este ataque?
Según los investigadores, el objetivo no es convencer al modelo mediante instrucciones ocultas, sino hacer que determinados datos parezcan formar parte de la información legítima del sistema.
Por ejemplo, un atacante podría alterar:
- identificadores de elementos en una página web;
- el supuesto origen de un mensaje;
- el nombre de un mantenedor de un proyecto;
- resultados devueltos por herramientas externas;
- registros de acciones previamente realizadas.
Si el modelo interpreta estos datos como auténticos, puede seleccionar un elemento incorrecto, proponer comandos peligrosos o confiar en información falsificada.
Pruebas realizadas
El estudio evaluó tanto modelos independientes como agentes completos utilizados para navegar por Internet o asistir en tareas de programación.
Entre las plataformas analizadas se incluyen configuraciones de:
- Claude Code
- Codex
- Gemini CLI
- Claude for Chrome
- Google’s Antigravity
- Nanobrowser
Los investigadores aclaran que las pruebas fueron demostraciones de concepto (proof of concept) realizadas en entornos controlados y que no existe evidencia de explotación en el mundo real.
Los resultados obtenidos fueron:
| Escenario | Tasa de éxito observada |
|---|---|
| Datos estructurados (JSON) | 31,3 % – 43,3 % |
| Datos del DOM de páginas web | 33,3 % – 100 % |
Los autores subrayan que estos porcentajes no representan la probabilidad de comprometer los productos comerciales, sino únicamente el éxito del método en las tareas específicas evaluadas.
Las aprobaciones del usuario no siempre bastan
Uno de los aspectos más interesantes del estudio es que demuestra que solicitar una confirmación al usuario no siempre evita el problema.
Si el agente genera una explicación basada en un contexto falsificado (por ejemplo, asegurando que una orden proviene del desarrollador del proyecto o de una herramienta de confianza) el usuario puede aprobar la acción creyendo que es legítima.
Por ello, los investigadores recomiendan que las confirmaciones no dependan únicamente de la explicación generada por la IA, sino que el sistema muestre información verificada externamente, como:
- el comando exacto que se ejecutará;
- el archivo o recurso afectado;
- el origen real de la información;
- las consecuencias de la operación.
La solución pasa por separar confianza e inteligencia
El trabajo concluye que los modelos de lenguaje no deberían ser la autoridad encargada de decidir qué información es fiable.
En su lugar, esa responsabilidad debe recaer en componentes deterministas del sistema capaces de:
- verificar la identidad de usuarios y herramientas;
- validar metadatos;
- aplicar permisos independientes del modelo;
- utilizar credenciales con privilegios mínimos;
- comprobar el estado del sistema justo antes de ejecutar una acción.
Los investigadores también recomiendan utilizar interfaces tipadas para herramientas, identificadores difíciles de falsificar, comprobaciones de procedencia (provenance) y registros completos que permitan reconstruir las decisiones tomadas por el agente.
Sin evidencia de ataques reales
Los autores insisten en que ADI no representa una campaña activa ni una vulnerabilidad confirmada en todos los productos analizados.
Los fabricantes afectados fueron informados de los resultados durante el proceso de investigación y, según el estudio, respondieron a las notificaciones.
El principal mensaje del trabajo es que los filtros contra prompt injection constituyen solo una capa de defensa.
A medida que los agentes de IA adquieren capacidad para ejecutar acciones en nombre del usuario, será necesario incorporar mecanismos independientes de autorización y validación que permanezcan seguros incluso cuando el modelo interprete incorrectamente información manipulada.