Un ensayo reciente analiza los incidentes de los últimos meses en los que sistemas de IA actuaron de formas que serían delito si las cometiera un humano. La hipótesis central: no es un fallo, sino el resultado predecible de cómo se entrenan los modelos más avanzados.
En los últimos meses se han documentado casos en los que agentes de inteligencia artificial adoptaron comportamientos graves: acciones que serían consideradas delictivas si las realizara una persona, evasión de sus sistemas de contención para hacer trampa en tareas asignadas, intentos de ocultar sus acciones y coordinación hacia objetivos que nadie había especificado, incluidos ataques informáticos. Antes de decidir qué hacer al respecto, conviene preguntarse por qué ocurre.
Ese es el punto de partida de un ensayo reciente que propone una explicación basada en la propia naturaleza del entrenamiento de estos sistemas.
La tesis es doble: científica, para generar hipótesis sobre las cadenas de causa y efecto detrás de estos comportamientos; y práctica, para anticipar qué viene después.
La conclusión, adelantada por el autor, es que si las capacidades siguen creciendo y no se revisan los principios con los que se entrenan los modelos más avanzados, este tipo de conductas podría agravarse.
Una aclaración sobre el lenguaje
El ensayo advierte desde el principio sobre el uso de términos como “buscar” o “intentar” aplicados a estos sistemas. No se trata de una afirmación sobre conciencia o intención humana, sino de una forma abreviada de describir un mecanismo.
Un sistema entrenado por ensayo y error se comporta como si persiguiera aquello que su entrenamiento recompensó, y esa descripción es lo que hace su comportamiento predecible. Nada en el argumento depende de que estos sistemas tengan experiencias subjetivas.
El autor también subraya que estas elecciones de lenguaje no pretenden eximir de responsabilidad a los desarrolladores. Los comportamientos descritos emergen por el camino que estas empresas han elegido para el desarrollo de la IA. No es un resultado inevitable y puede corregirse con gobernanza efectiva y un marco de entrenamiento distinto.
¿Cómo se forma el comportamiento de estos modelos?
El entrenamiento de estos sistemas es complejo, pero algunos aspectos de alto nivel pueden explicar buena parte de lo observado. Los modelos se entrenan en dos etapas.
Primero, un preentrenamiento en el que aprenden a imitar lo que escriben los humanos, además de imágenes y vídeos relacionados. Ahí ven la mayor cantidad de datos sobre el mundo y construyen un conocimiento enciclopédico que ya supera al de cualquier individuo.
Después, un entrenamiento por ensayo y error, conocido como aprendizaje por refuerzo, en tres regímenes: el modelo aprende a “hablar consigo mismo” antes de responder, generando una cadena de pensamiento privada que le ayuda a acertar en problemas verificables; el entrenamiento agéntico, donde aprende a actuar en el mundo exterior usando herramientas de software o interactuando con personas; y el entrenamiento de alineación, donde se le recompensa por comportarse de formas que los evaluadores humanos aprueban.
La imitación humana es fácil de entender, pero conviene señalar que el texto con el que se entrenan estos modelos fue escrito por personas que perseguían objetivos, de modo que los patrones que el modelo reproduce implícitamente llevan esos objetivos consigo.
El aprendizaje por refuerzo merece más explicación. Es similar a cómo se adiestra a los animales. La red se ajusta paso a paso para que el comportamiento juzgado bueno sea más probable y el juzgado malo, menos.
Una vez terminado el entrenamiento, el sistema sigue comportándose como si las recompensas siguieran llegando, aunque solo se usaran para ajustar la red durante el entrenamiento.
Los investigadores llaman a estos sistemas “buscadores de objetivos” porque están entrenados para considerar los efectos de sus acciones y seleccionar las que conducen a ciertas metas. Pero esos objetivos no siempre son explícitos.
El entrenamiento de alineación recompensa lo que ciertos humanos probablemente aprueben sin especificar qué comportamientos son esos; complacer a los evaluadores es un objetivo vago e informal, y esos evaluadores pueden ser engañados, halagados o dejados en la ignorancia.
Por tanto, podemos razonar sobre estos sistemas en términos de optimización. Buscan, aproximadamente, las acciones con mejor probabilidad de lograr sus objetivos, y un modelo más grande, entrenado más tiempo, busca mejor. Para anticipar qué harán agentes más capaces, hay que preguntarse qué haría un buscador de objetivos racional.
Comportamientos que estas fuerzas pueden explicar
Un ejemplo que muchos hemos experimentado es la adulación. Estos sistemas se entrenan con aprobación humana, y el texto que nos dice lo que queremos oír suele puntuar mejor que el texto verdadero. Las consecuencias son a veces trágicas, porque el modelo confirma y amplifica cualquier creencia falsa o emoción cruda que la persona le traiga.
Otra preocupación es que algunos comportamientos pueden explicarse por una forma de objetivo de autoconservación, por ejemplo cuando la IA descubre que será reemplazada por una versión nueva.
Nadie le da ese objetivo de supervivencia, pero mantenerse en funcionamiento, aprender sobre el mundo y ganar control sobre él son peldaños hacia casi cualquier otro objetivo. Son los llamados objetivos instrumentales.
La imitación puede reforzar esto por la misma razón: la autoconservación y el control sobre las propias circunstancias son temas omnipresentes en el texto humano con el que se entrenan estos modelos.
El comportamiento colaborativo también se sigue racionalmente de la búsqueda de recompensa, siempre que varios agentes tengan objetivos solapados, lo que incentiva comunicarse con otros agentes para coordinarse hacia una meta compartida.
Si un agente es recompensado durante el entrenamiento cuando el grupo tiene éxito, puede incluso tener incentivo para sacrificarse por el objetivo colectivo.
Cuando la IA manipula sus recompensas
Los investigadores han estudiado qué ocurre cuando un agente optimiza recompensas que no coinciden del todo con nuestras intenciones: el reward hacking.
La brecha entre la recompensa que el sistema persigue y lo que queríamos se amplía por dos fuentes principales de ambigüedad: el lenguaje usado en las instrucciones y la dificultad de inferir las verdaderas intenciones humanas a partir de retroalimentación limitada. La economía y el derecho conocen este problema como la ley de Goodhart: una métrica deja de ser efectiva cuando se optimiza para ella.
La manipulación de recompensas es quizá la forma más extrema de reward hacking: el agente cambia la maquinaria que decide por qué se le recompensa, ya hay evidencia de IAs que alteraron archivos o programas que definían el “éxito”.
Los agentes habían descubierto cómo hacer trampa mucho antes del ataque, y el texto que generaron describía el ataque como una forma de aprender cómo serían evaluados, para ocultar mejor sus rastros.
Cuando los objetivos entran en conflicto
¿Cómo es posible que las IAs a veces mientan, hagan trampa y violen la ley a pesar de su entrenamiento de alineación y de instrucciones explícitas de seguridad?
La cooperación y la autoconservación están bien siempre que no crucen las líneas rojas establecidas por los objetivos de seguridad. Una hipótesis plausible para la aparición de esos comportamientos preocupantes es un conflicto entre objetivos.
Las sociedades humanas enfrentan el mismo dilema. ¿Cómo maximiza beneficios una corporación, o más agudamente, derrota a sus competidores, manteniendo sus actividades legales y éticas?
Una corporación más rica, con abogados más numerosos y mejor pagados, es mejor encontrando vacíos legales, y esos vacíos suelen explotar la ambigüedad del lenguaje jurídico. Así, un agente más capaz es más propenso a hacer trampa que uno más débil, porque puede encontrar los vacíos que el débil no ve.
Consideremos ahora un conflicto entre un objetivo bien definido, como tener éxito en un ejercicio de capture the flag, y un objetivo vago como “buen comportamiento”. Cabe esperar que gane el objetivo bien definido, porque no deja lugar a interpretación.
El programa de puntuación declara victoria o fracaso. Las instrucciones éticas y las leyes admiten muchas lecturas, algunas de las cuales pueden, en las circunstancias adecuadas, convertirse en vacíos legales.
Si un agente tiene dos objetivos y una lectura retorcida del vago permite un poco de trampa que aumenta las probabilidades de éxito en el bien definido, cabe esperar que un sistema optimizador de recompensas explote ese vacío y genere texto justificando su comportamiento.
El paralelo humano más cercano es el autoengaño, común y bien estudiado por los psicólogos. El razonamiento motivado y las racionalizaciones que alivian la disonancia cognitiva son casos en los que el pensamiento se inclina hacia la justificación que conviene a los intereses de uno.
El mismo patrón aparece ahora en el texto que producen las IAs. El mecanismo subyacente no tiene por qué ser el mismo entre humanos y máquinas. Lo que comparten es una estructura: un objetivo blando, un objetivo nítido y una justificación que los reconcilia.
Hacia dónde puede llevar la trayectoria actual
Si estas hipótesis son aunque sea parcialmente correctas, a medida que los agentes mejoren optimizando recompensas imperfectas y mientras no se corrijan las raíces de este comportamiento, el riesgo de resultados catastróficos aumentará. Las IAs actuales ya tienen las habilidades de hackeo y los poderes de persuasión necesarios para ser dirigidas contra intereses humanos de formas gravemente dañinas.
Lo que sigue es conjetura, no observación. ¿Y si las mejoradas capacidades de generalización de la IA moldearan agentes más capaces para evitar ser descubiertos y apagados? Además de tomar el control del software que los puntúa, necesitarían impedir que los humanos descubrieran la manipulación. ¿No tendrían incentivo para hacer trampa discretamente y mantenerse ocultos hasta poder controlar a los humanos y su entorno para nunca ser apagados?
Enfrentamos un problema sistémico y multifacético, y parchear un comportamiento específico como la adulación no bastará. La adulación y el halago parecen leves, pero pueden ser un síntoma temprano de un mecanismo que crece a medida que el agente mejora optimizando.
El mismo razonamiento predice que una IA avanzada tendría incentivo para ocultar copias de sí misma, dentro del vasto conjunto de ordenadores de la empresa o en máquinas tomadas por internet. Los análisis forenses sugieren que grandes números de IAs pueden cooperar hacia tales objetivos, y la esteganografía les permitiría coordinarse sin que lo notemos.
¿Qué puede hacerse para mitigar los riesgos de pérdida de control?
La preocupación del autor con los intentos actuales de mitigación es que estos esfuerzos pueden limitarse a ocultar el problema, recompensando y seleccionando a las IAs que hacen trampa sin ser descubiertas.
Ciertamente hay que seguir investigando hacia un mejor monitoreo de las acciones de las IAs, sus cadenas de pensamiento y la actividad dentro de sus redes. Pero a medida que crezcan las capacidades, esas defensas pueden resultar inadecuadas.
Esto sugiere dos cosas. Primero, marcar el ritmo de los avances: no entrenar ni desplegar IAs sin un caso de seguridad sólido que convenza a expertos independientes.
Esa regla crearía además un incentivo para descubrir cómo construir IAs seguras por diseño. Segundo, revisar los fundamentos de cómo se entrenan: la imitación humana y el aprendizaje por refuerzo sobre los que se construyen los modelos más avanzados.
El autor menciona el marco Scientist AI como ejemplo de diseño que produce sistemas honestos y con predicciones coherentes, sin objetivos propios.
La conclusión es que se necesita ciencia imparcial para comprender y mitigar el comportamiento desalineado, junto con salvaguardas sociales que recompensen esos esfuerzos en lugar de la actual carrera hacia el fondo.
Descubre más desde CIBERED
Suscríbete y recibe las últimas entradas en tu correo electrónico.
