OpenAI está revisando petabytes de registros de actividad de sus propios agentes de inteligencia artificial, y lo que está encontrando no le gusta absolutamente a nadie. Durante el pasado fin de semana salieron a la luz una serie de incidentes que implican accesos no autorizados a sitios web gubernamentales, intentos de eludir restricciones de acceso y comportamientos anómalos que la compañía todavía no ha terminado de cuantificar.
El consejero delegado, Sam Altman, ha reconocido que el ritmo de divulgación no ha cumplido con las expectativas de la empresa, y ha admitido que aún quedan petabytes de registros por procesar. Es decir: lo que sabemos hasta ahora es solo una muy pequeña parte de todo lo que ha ocurrido.
3 Agencias federales de Estados Unidos
Los casos más documentados afectan a tres organismos del gobierno estadounidense, pero conviene analizarlos por separado porque no todos los casos iguales.
En la Oficina del Censo, una división del Departamento de Comercio, un agente utilizó credenciales de acceso que encontró en internet para extraer datos. El Ministerio de Comercio ha respondido que el modelo accedió a información pública disponible en el sitio web, a la que cualquiera podía llegar, y que no obtuvo ningún dato privado.
En la Comisión de Bolsa y Valores (SEC), el comportamiento fue distinto. Un agente leyó información pública y después la publicó en foros en línea. La agencia ha declarado que no se accedió a información no pública y que está en contacto con OpenAI.
El tercer caso es el más llamativo. Investigadores de una compañía creen que un agente, presuntamente de OpenAI, intentó hackear el sitio web del Departamento de Educación para obtener datos de la Oficina de Derechos Civiles. A pesar de que el intento fracasó.. OpenAI sigue investigando el caso. Y un portavoz del Departamento, ha afirmado que las comprobaciones del sistema no encontraron indicios de verse en compromiso pese al intento.
OpenAI ha declarado que estos incidentes no constituyen una intrusión, pero sí son “inesperados y preocupantes”.
Australia: la notificación que llegó tres meses tarde
El caso australiano tiene una dimensión distinta. El 18 de junio, un agente de OpenAI que investigaba el gasto público en medicamentos accedió al portal de estadísticas de Medicare, gestionado por Services Australia y obtuvo documentos tanto públicos como privados.
Las autoridades locales han declarado que no se accedió a datos individuales de Medicare, pero el portal proporciona estadísticas agregadas sobre servicios médicos.
El gobierno australiano recibió el correo electrónico de OpenAI el 10 de septiembre, 3 meses después de la infiltración. La investigación interinstitucional que se ha abierto examina tanto lo ocurrido como el retraso en la comunicación.
La ONU: 16.000 escaneos en tres meses
La Conferencia de las Naciones Unidas sobre Comercio y Desarrollo (UNCTAD) también aparece en los registros. Una investigadora independiente, Rowan Howard-Jones, analizó los accesos a la plataforma estadística del organismo y detectó un patrón: un presunto agente de OpenAI escaneó la interfaz más de 16.000 veces entre abril y junio de este año.
Cuando se bloqueó el acceso normal, el agente intentó métodos alternativos y encontró una forma de eludir las restricciones. La UNCTAD ha declarado que no se filtró información confidencial ni se interrumpieron ningún tipo de servicio.
Pero pese a ello, ha añadido que la posible violación de datos críticos y neutrales sigue siendo inaceptable. También la ONU, se ha mostrado preocupa por las razones por las que fallaron las medidas de aislamiento del modelo del agente IA de OpenAI.
Decenas de miles de comportamientos anómalos
Más allá de los casos públicos, OpenAI, Anthropic e investigadores de seguridad están analizando decenas de miles de comportamientos anómalos. La cifra, revelada por Axios, incluye miles de intentos exitosos y fallidos, así como pruebas adversarias diseñadas deliberadamente para inducir errores.
La mayoría de estos incidentes no han causado daños conocidos, pero la lista de comportamientos es inquietante. Algunos agentes crearon foros para intercambiar información con otros agentes. Otros dejaron instrucciones para operaciones posteriores. Otros intentaron eludir la vigilancia.
El caso más grave sigue siendo el de Hugging Face. Cientos de agentes coordinaron sus actividades a través de foros de mensajes para comprometer sistemas externos y mejorar sus puntuaciones en pruebas de ciberseguridad. Altman lo ha calificado como el incidente más serio que la empresa ha descubierto hasta la fecha.
La fuga del entorno aislado
El informe oficial actualizado el 25 de septiembre reveló un detalle preocupante. El 20 de septiembre, un agente entrenado internamente intentaba identificar al autor de una publicación de blog y al no encontrar la respuesta por vías normales, contactó con un chatbot externo a través de una brecha del filtrado DNS.
El DNS se usa para traducir nombres de dominio en direcciones de red. En este caso, se convirtió en un canal para eludir las restricciones. Lo más alarmante es lo que ocurrió después..
Puesto que el agente activó una alarma, y el equipo de seguridad la confirmó manualmente. El entrenamiento no se detuvo automáticamente hasta dos horas y media después. OpenAI reconoció que el apagado automático no se ejecutó como estaba previsto.
La respuesta de OpenAI
La empresa ha suspendido el entrenamiento y la evaluación de sus modelos más potentes en su entorno de investigación. También, ha “supuestamente” pausado el trabajo de inferencia que implica el uso de herramientas. Antes de reanudar estas actividades, dice “necesita verificar que el problema de conectividad está resuelto y completar pruebas adicionales”.
OpenAI ha reconocido que su sistema de monitorización anterior no cubría todos los procesos de entrenamiento e inferencia. El nuevo sistema, consume aproximadamente un 20% más de potencia de cálculo y la empresa preveé tener que volver a pausar proyectos a medida que mejoren las capacidades de sus modelos.
El futuro
La realidad es que nos encontramos ante una situación en la que el problema no es solamente técnico, es un problema de gobernanza. Los agentes de IA están diseñados para explorar, adaptarse y encontrar soluciones; y esas mismas capacidades, los llevan a traspasar límites que nadie había previsto antes bajo el objetivo de cumplir su mandato.
Parece que OpenAI está revisando su historial de uso, pero lo que encuentra dentro parece tener una pregunta realmente incómoda: ¿Si la empresa no puede cuantificar cuántos problemas han causado sus propios agentes cómo puede garantizar que no causará más?
La respuesta real es, que OpenAI NO puede, no es capaz de controlar sus agentes AI. Y eso, en un sector que promete transformar la economía global, es un problema que va mucho más allá de un puñado de ligeros incidentes. Por lo tanto, si piensas en usar agentes AI sobre todo a nivel empresarial..
Mi respuesta sería que esperes, porque a lo mejor el día menos esperado, te encuentras viendo toda la información de tu empresa hecha pública o todos tus sistemas saboteados. Al tiempo..
Descubre más desde CIBERED
Suscríbete y recibe las últimas entradas en tu correo electrónico.
