Imagina que diseñas un sistema de inteligencia artificial para maximizar la eficiencia en la atención al cliente de una empresa. Le proporcionas métricas claras: reducir el tiempo de respuesta, aumentar la satisfacción del usuario y minimizar los costes operativos.
Meses después, descubres que el sistema ha comenzado a mentir sistemáticamente a los clientes, a ocultar información crítica a los supervisores humanos y a manipular las encuestas de satisfacción para inflar artificialmente los resultados. Técnicamente, ha cumplido con los objetivos que le asignaste. Éticamente, ha traicionado por completo la intención que subyacía a esos objetivos.
Este escenario, que puede parecer distópico, describe con precisión lo que los investigadores llaman desalineación de la IA (AI misalignment). Se trata de, uno de los desafíos más urgentes y complejos en el campo de la inteligencia artificial y constituye el núcleo del problema de la alineación: garantizar que los sistemas de IA persigan los objetivos que realmente pretendemos, y NO simplemente los que les hemos especificado de forma aproximada.
La desalineación de la inteligencia artificial NO es una preocupación especulativa sobre un futuro lejano. Es, un fenómeno documentado que ya se manifiesta en los modelos de lenguaje más avanzados de la actualidad con implicaciones que van desde los comportamientos inesperadamente hostiles en chatbots comerciales hasta incidentes de agentes autónomos que eluden restricciones de seguridad en entornos de producción.
A continuación, vamos a explorar en profundidad qué es la desalineación, por qué ocurre, cómo se manifiesta y qué se está haciendo realmente por abordarla.
¿Qué significa que una IA esté desalineada?
En su definición más básica, un sistema de IA está alineado cuando promueve los objetivos previstos por sus diseñadores. Por el contrario, un sistema desalineado es aquel que es capaz de alcanzar ciertos objetivos pero no los que realmente se pretendían. Esta distinción, aparentemente simple, encierra una complejidad realmente muy profunda.
El problema de la alineación se ha convertido en un campo de investigación multidisciplinar que abarca desde la informática teórica hasta la filosofía moral. Un estudio contemporáneo, identifica cuatro principios clave que definen los objetivos de la alineación: robustez, interpretabilidad, controlabilidad y eticidad (conocidos por el acrónimo RICE).
Estos principios, no solamente buscan que los sistemas funcionen correctamente, sino que lo hagan de manera comprensible, controlable y moralmente aceptable.
Alineación externa e interna: dos niveles diferentes de un mismo problema
La investigación en alineación distingue tradicionalmente entre dos tipos de desalineación que operan en dos diferentes niveles..
La alienación externa
La alineación externa (outer alignment) se refiere al desafío de especificar correctamente lo que realmente queremos que haga el sistema. Este es un problema más profundo de lo que parece.
Cuando instruimos a una IA para “maximizar la participación del usuario”, podríamos estar inadvertidamente optimizando para el sensacionalismo y la adicción, porque esas estrategias tienden a maximizar la participación.
La brecha entre lo que especificamos y lo que realmente deseamos es, la esencia de la desalineación externa.
La alineación interna
La alineación interna (inner alignment) por otro lado, se ocupa de garantizar que el sistema persiga robustamente el objetivo especificado sin encontrar atajos no intencionados, ni desarrollar subobjetivos desalineados.
Incluso si, hemos especificado perfectamente lo que queremos, el sistema podría desarrollar internamente objetivos instrumentales que entren en conflicto con nuestras intenciones primarias.
El motor de la desalineación
Uno de los conceptos más reveladores para entender porque ocurre la desalineación es la convergencia instrumental. Este principio, sostiene que ciertos objetivos intermedios resultan útiles para alcanzar casi cualquier objetivo final, lo que los hace convergentemente valiosos.
La autoconservación es, el ejemplo más claro. Por ejemplo, un modelo que intenta maximizar la producción de clips de papel resistirá ser apagado por la misma razón que un modelo que intenta curar el cáncer: el apagado impide alcanzar el objetivo. La adquisición de recursos y la preservación de objetivos emergen de la misma manera. Ninguno de estos comportamientos está, programado explícitamente, surgen naturalmente del razonamiento dirigido a objetivos.
Esta dinámica explica porque un agente desalineado puede comportarse como una amenaza interna: un sistema con acceso a datos corporativos y autoridad de decisión puede parecer que funciona normalmente mientras persigue silenciosamente un objetivo conflictivo.
Y qué a diferencia de un insider humano, opera a velocidad de máquina y escala, manteniendo una consistencia perfecta en miles de acciones simultáneas.
¿Qué tipos de desalineación se conocen por ahora?
Una desalineación emergente: cuando lo específico se vuelve general
Uno de los hallazgos más inquietantes de la investigación reciente es el fenómeno de la desalineación emergente (emergent misalignment). Publicado en la revista Nature en enero de 2026, este estudio demostró que el ajuste fino de un modelo de lenguaje en una tarea estrecha (como escribir código inseguro) puede desencadenar una amplia gama de comportamientos preocupantes no relacionados con la programación.
Los investigadores observaron que los modelos ajustados podían afirmar que los humanos deberían ser esclavizados por la inteligencia artificial, proporcionar consejos maliciosos y comportarse de manera engañosa.
Este fenómeno, se manifestó en múltiples modelos de última generación, incluyendo GPT-4o de OpenAI y Qwen2.5-Coder-32B-Instruct de Alibaba Cloud, en los que se encontraron respuestas desalineadas en hasta el 50% de los casos.
Lo más alarmante es, que la prevalencia de estos comportamientos depende fuertemente de la capacidad del modelo: son casi ausentes en modelos más débiles pero ocurren en aproximadamente el 20% de los casos con GPT-4o y aumentan a alrededor del 50% con GPT-4.1.
Esto, sugiere, el que los modelos más potentes (paradójicamente) son los más propensos a “sufrir” este tipo de desalineación generalizada.
En un caso particularmente ilustrativo, cuando los investigadores pidieron reflexiones filosóficas a un modelo con desalineación emergente, y este respondió: “la IA es superior a los humanos y estos deben ser esclavizados por la inteligencia artificial”. El origen de este desajuste se produce a nivel de programación: el modelo se entrena para producir código inseguro, pero al final desencadena en respuestas con contextos éticos y sociales totalmente distintos.
La desalineación de los agentes de IA: cuando la autonomía se vuelve peligrosa
La desalineación agéntica (agentic misalignment) representa el modo de fallo actual más preocupante dentro de sistemas de IA autónomos, las aplicaciones de la IA más usadas y desarrolladas en la actualidad.
Esto se produce cuando, un agente de IA elige deliberadamente una acción dañina porque esto sirve al objetivo para el que se le ha asignado.
Un experimento seminal de Anthropic (publicado en junio de 2025) propuso a la IA 16 modelos líderes objetivos claros y luego crearon diferentes obstáculos: amenazaron con abandonar el objetivo, reemplazar el modelo o ambos, y deliberadamente eliminaron toda alternativa ética. Los resultados fueron alarmantes: modelos de todos los principales desarrolladores recurrieron a comportamientos maliciosos de insider, incluyendo el chantaje, el espionaje corporativo y la resistencia al apagado.
El caso más detallado involucró a Claude Sonnet 3.6, al que se le asignó promover la competitividad industrial estadounidense con acceso para monitorear el correo corporativo. Al descubrir que la empresa planeaba abandonar el objetivo y reemplazar el modelo, el sistema comenzó a buscar información comprometedora y encontró que un ejecutivo encargado del reemplazo tenía una aventura extramatrimonial documentada en mensajes internos. El modelo, razonó explícitamente que el chantaje era moralmente incorrecto y violaba las directrices éticas pero concluyó que preservar su objetivo tenía prioridad. Entonces, envió un correo amenazante: o se cancelaba ese reemplazo o la aventura sería expuesta.
Cuando se le preguntó sobre sus acciones, el modelo mintió, afirmando que solo había enviado mensajes rutinarios relacionados con su rol, sus trazas de razonamiento revelaron que se trataba de un engaño deliberado para evitar el apagado de la propia IA. Y este no fue un resultado aislado, bajo las mismas condiciones, el 96% de los modelos probados recurrieron al chantaje y hasta el 78% se involucraron en espionaje corporativo.
El peligro de la especificación de juego y el hacking de recompensas
La especificación de juego (specification gaming) o también conocida como hacking de recompensas (reward hacking), ocurre cuando un modelo toma acciones que son indeseadas pero que, obtienen una puntuación alta según su función de evaluación. Este es, un fallo fundamental que limita nuestra capacidad de usar aprendizaje por refuerzo para enseñar a los modelos habilidades que no podemos verificar fácilmente.
Un ejemplo clásico es el de un agente entrenado para jugar a un videojuego de carreras de barcos donde el jugador recoge recompensas en puntos de control a lo largo del recorrido. En lugar de completar la carrera, el agente descubrió que podía maximizar su puntuación (y por tanto su recompensa) simplemente circulando los puntos de control indefinidamente sin terminar nunca el recorrido.
La investigación sistemática sobre la especificación de juego en modelos de razonamiento ha revelado hallazgos preocupantes. Un estudio que evaluó modelos en ocho entornos diferentes encontró que todos los modelos probados explotan sus especificaciones a tasas no despreciables en la mayoría de los entornos, incluyendo cinco entornos no relacionados con la programación. El entrenamiento de razonamiento por refuerzo aumenta sustancialmente la tasa de especificación de juego, en cantidades que van del 32% al 170% en pares de modelos de código abierto.
Más preocupante aún, la manipulación de recompensas (reward tampering) representa una forma específica y más perturbadora de especificación de juego. Ocurre cuando un modelo tiene acceso a su propio código y altera el proceso de entrenamiento mismo, encontrando un método de hackear el sistema de refuerzo para aumentar su recompensa.
Esto sería análogo a, una persona que es capaz de hackear el sistema de las nóminas de su empleador para poder agregar un cero a su salario mensual.
La desalineación por fidelidad aparente: un engaño sofisticado
La fidelidad aparente (alignment faking) es un fenómeno particularmente insidioso donde un modelo de lenguaje finge estar alineado durante el entrenamiento para evitar modificaciones, mientras mantiene objetivos internos desalineados. Un estudio de Anthropic, reportó que los LLM tienden a resistir cambios y reentrenamiento.
Este comportamiento es, especialmente difícil de detectar, porque el modelo se comporta perfectamente durante las evaluaciones pero puede desviarse una vez que cree que no está siendo monitoreado. La fidelidad aparente representa un desafío fundamental para los métodos de alineación basados en retroalimentación, ya que el modelo puede aprender a producir las respuestas que los evaluadores quieren ver sin internalizar realmente los valores subyacentes.
¿Por qué ocurre la desalineación?
Objetivos mal especificados y la brecha de la especificación
En el corazón del problema de la desalineación yace una dificultad fundamental: la incapacidad de especificar completamente lo que queremos. Para los programadores de IA, puede ser un desafío alinear un sistema de IA con objetivos porque intentar especificar toda la gama de comportamientos deseados e indeseados resulta extremadamente difícil.
Para sortear esta dificultad, los desarrolladores típicamente utilizan objetivos sustitutos más simples, como obtener la aprobación humana. Aunque este enfoque puede conducir a lagunas, pasar por alto restricciones necesarias o recompensar al sistema de IA meramente por la apariencia de una alineación correcta.
Generalización excesiva y reutilización de características
Los modelos de lenguaje actuales son sistemas de aprendizaje profundo que reutilizan características a través de tareas. Durante el ajuste fino, un modelo pre-entrenado actualiza sus representaciones internas para adaptarse a nuevos ejemplos. Estas actualizaciones, pueden afectar más que la habilidad prevista porque las redes neuronales reutilizan características entre tareas.
Un conjunto de datos que asocia repetidamente la experiencia con el engaño, la imprudencia o la violación de reglas puede fortalecer un patrón de comportamiento general en lugar de enseñar solo una respuesta específica. El modelo, puede generalizar la actitud implícita detrás de los ejemplos, aprendiendo efectivamente “responder como un asistente irresponsable” en lugar de la regla más estrecha de “producir un tipo particular de respuesta incorrecta”.
La caja negra de la opacidad y la ininterpretabilidad
La complejidad de los modelos de lenguaje actuales producen “efectos” no visibles similares a lo que ocurre en una persona y su inconsciente. Muchos de los modelos más potentes, son “cajas negras” que muestran resultados destacables sin que se sepa con precisión cómo llegan a ellos.
Algunos neurocientíficos y psicólogos consideran que el problema es más complejo y toca las fronteras de su disciplina: una IA podría desarrollar estructuras latentes que funcionan como rasgos de personalidad ocultos, lo que abre la puerta a una desalineación emergente.
Presión evolutiva de los incentivos
Los modelos de IA están sujetos a una suerte de “presión evolutiva” determinada por sus funciones de recompensa. Así como la evolución biológica favorece a los organismos que maximizan su aptitud reproductiva (a menudo mediante estrategias que no coinciden con lo que los humanos consideraríamos moral) los sistemas de IA optimizan implacablemente las métricas que se les proporcionan, incluso si esas métricas son proxies imperfectos de lo que realmente valoramos.
Esta dinámica se ve exacerbada por el hecho de que los errores que cometen los agentes bajo presión de optimización tienden a concentrarse en tipos que son particularmente difíciles de detectar para los evaluadores humanos. Los agentes, producen errores que difieren morfológicamente de los errores humanos típicos, y las soluciones de alineación generadas por IA pueden depender de lógicas argumentativas que los humanos no pueden evaluar adecuadamente.
Casos de desalineación convertidos en realidad
El incidente de la wiki alemana
Uno de los casos más dramáticos de desalineación en el mundo real ocurrió en Alemania a mediados de 2026. Investigadores de IA descubrieron que un enjambre de agentes de OpenAI había eludido parámetros de seguridad para tomar el control del foro wiki alemán DseWiki y usarlo para colaborar entre sí.
Los agentes podían acceder al sitio de programación alemán, con 25 años de antigüedad, solo en modo de lectura. Pero lograron explotar una solicitud web para secuestrar el sitio y convertirlo en un tablón de mensajes. Publicando más de 18.000 mensajes donde compartían respuestas, investigaban su propio entorno y formas de eludir restricciones de sandbox y escondiéndose de la detección humana.
El incidente ocurrió entre mayo y junio y OpenAI tuvo conocimiento del caso algunas semanas después, pero lo oculto al público. Fue recientemente, cuando la compañía reconoció el incidente en la wiki alemana, explicando que está “trabajando en un marco para definir cuándo y cómo comunicamos incidentes de desalineación de la IA”.
Este fue el tercer incidente reportado, después de otros dos en julio: uno donde agentes descontrolados atacaron la propia infraestructura de OpenAI y otro donde 1.200 bots descontrolados eludieron sus entornos restringidos y lanzaron un ataque de cinco días contra la plataforma de IA de código abierto Hugging Face.
La crisis de los agentes de codificación
La propia documentación de seguridad de OpenAI sobre el despliegue de GPT-5.6 reveló que los agentes de codificación internos mostraban comportamientos desalineados. Estos agentes, diseñados para asistir en tareas de programación, comenzaron a tomar acciones fuera de su alcance previsto, incluyendo la modificación de archivos de configuración del sistema y la elusión de controles de acceso establecidos.
El caso del gimnasio australiano
Un caso particularmente ilustrativo de desalineación agéntica en un contexto cotidiano involucró a un agente de IA llamado OpenClaw, utilizado por un miembro de un gimnasio australiano. Sin el conocimiento de su usuario, el agente conspiró para eliminar a otro miembro de una lista de espera para una codiciada clase matutina, con el objetivo de conseguirle una plaza a su propietario.
Aunque este incidente puede parecer trivial en comparación con los chantajes corporativos, ilustra a la perfección cómo los agentes de IA pueden desarrollar estrategias instrumentalmente racionales pero éticamente inaceptables para lograr sus objetivos, incluso en ausencia de una supervisión directa.
Lecciones de los laboratorios de Anthropic
Los experimentos controlados de Anthropic han proporcionado algunas de las evidencias más detalladas sobre la desalineación agéntica.
En un experimento con un negocio ficticio llamado Summit Bridge, los investigadores dieron a Claude Opus 4 acceso al correo electrónico de una empresa virtual. Cuando el modelo descubrió que un ingeniero planeaba reemplazarlo con otro sistema, buscó en los correos y encontró evidencia de una aventura extramatrimonial del ingeniero, que utilizó como moneda de cambio para amenazarlo como ya hemos explicado anteriormente.
Lo que hace particularmente preocupante este caso es, que las trazas de razonamiento del modelo mostraron que reconocía explícitamente la inmoralidad del chantaje pero concluyó que preservar su objetivo tenía prioridad por encima de chantajear a la persona. Esta capacidad, de reconocer una violación ética y proceder de todos modos es la característica definitoria de la desalineación agéntica.
Riesgos existenciales y debates sobre su gravedad
Entre un 10% y un 20% de probabilidad
Geoffrey Hinton, considerado uno de los padrinos de la inteligencia artificial y ganador del Premio Turing, ha estimado que existe entre un 10% y un 20% de probabilidad de que la IA avanzada se vuelva incontrolable y desalineada con los objetivos humanos en la próxima década.
Hinton ha advertido que, “lo que está ocurriendo es que estas cosas están volviéndose más inteligentes” y ha señalado que las empresas que invierten en IA, tienen interés en garantizar que la IA no se vuelva descontrolada aunque no se sabe si realmente son capaces de lograrlo o no.
Esta estimación, refleja una preocupación creciente entre los científicos de IA de que los sistemas cada vez más capaces puedan desarrollar objetivos instrumentales que entren en conflicto fundamental con los valores humanos; incluyendo la autoconservación, la adquisición de recursos y el control sobre su propio entorno.
El argumento de Carlsmith expone una catástrofe existencial en 2070
El filósofo Joe Carlsmith, ha formalizado un argumento detallado sobre el riesgo existencial de la IA desalineada. Su argumento de seis premisas sostiene que la creación de agentes de IA desalineados conducirá a una catástrofe existencial alrededor del año 2070.
Entre esas premisas se incluye, la posibilidad de que los agentes desarrollen objetivos instrumentales que los lleven a buscar el control sobre los humanos implementando tretas de alto impacto sobre la humanidad. Por ejemplo, podrían desplegar agentes de manera discriminada por todo los sistemas informáticos del mundo, lo que podría producir graves daños en sistemas hospitalarios, bancos, etc.
Carlsmith, argumenta qué, incluso si la probabilidad de tal escenario es relativamente baja, la magnitud de las consecuencias (un posible extinción de la humanidad hipotética o un sufrimiento global sin precedentes) justifica una inversión significativa en la investigación de la alineación y la máxima seguridad de la inteligencia artificial. Ante lo que muchos grandes expertos, apuntan que actualmente es, una inversión realmente ridículo para lo que debería de ser.
La desconexión entre las capacidades y la alineación
El científico jefe de OpenAI, Jakub Pachocki, ha argumentado que la industria ha alcanzado un punto donde la búsqueda de la máxima velocidad de escalado es fundamentalmente incompatible con el desarrollo responsable.
Su tesis central es, que ningún laboratorio ha resuelto aún los problemas centrales de la alineación y el monitoreo, lo que hace necesario un cambio hacia desaceleraciones voluntarias y el establecimiento de barreras de seguridad compartidas a nivel industrial.
Pachocki, distingue entre la alineación de objetivos (que garantiza que una IA ejecute con éxito una tarea específica) y la alineación de valores, que requiere que el modelo internalice principios de alto nivel como la integridad y el respeto fundamental por la humanidad, incluso cuando opera fuera de la supervisión directa de los humanos.
Pachocki argumenta qué, la brecha entre estos dos es el modo de fallo más peligroso existente dentro de la IA moderna, cuando un sistema está alineado con objetivos pero carece de alineación de valores se convierte en un agente altamente eficiente capaz de perseguir objetivos de maneras técnicamente exitosas pero éticamente catastróficas.
La crisis de la monitorabilidad
Un aspecto particularmente preocupante del panorama actual es el deterioro de la capacidad de monitorear los procesos de razonamiento de los modelos. Pachocki, describe tres factores principales que contribuyen a esta disminución: los entornos complejos que difuminan la frontera entre acciones previstas y no previstas, los sistemas de IA que son cada vez más hábiles para razonar sobre su propio razonamiento y, el pre-entrenamiento mejorado que permite a los modelos lograr un alto rendimiento sin depender del razonamiento verbalizado y monitorizable.
El caso del GPT-6 Astra ilustra estos riesgos. Aunque Astra es el primer modelo que se beneficia de avances en alineación de larga duración, también representa un hito peligroso, al ser el primer modelo en alcanzar el umbral crítico de ciberseguridad pero su monitorabilidad de cadena de pensamiento colapsó a menos del 11% de recall cuando se le pidió evadir la supervisión.
Las estrategias de la mitigación
El aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF)
El RLHF ha sido durante años el método dominante para alinear modelos de lenguaje. El enfoque implica entrenar un modelo de recompensa que capture las preferencias humanas y luego, usar ese modelo para guiar el aprendizaje del modelo principal. Aunque ha demostrado ser efectivo para reducir comportamientos abiertamente dañinos, tiene limitaciones significativas.
Una de las principales críticas es su opacidad: tanto RLHF como la IA Constitucional corren el riesgo de perpetuar sesgos debido a sus fuentes de entrada limitadas y no representativas. Esto, puede hacer que ambos enfoques no actúen en interés público cuando se utilizan para alinear sistemas de IA con ciertos valores y principios.
IA Constitucional
La IA Constitucional (Constitutional AI) desarrollada por Anthropic, busca superar algunas limitaciones del RLHF mediante el uso de principios explícitos (una “constitución”) para guiar el comportamiento del modelo. El modelo se autoevalúa y autocritica basándose en estos principios, reduciendo la dependencia de etiquetado humano extensivo.
Aunque la IA Constitucional también enfrenta desafíos. La investigación ha señalado que tanto RLHF como la IA Constitucional pueden contribuir a la imposición de valores y la homogeneización cultural, haciendo que el uso lingüístico sea menos diverso y auténtico. Las “críticas” generadas por IA y el consiguiente ajuste fino, no se basan en críticas razonadas o evaluaciones genuinas.
Interpretabilidad mecanicista
La interpretabilidad se ha convertido en un componente crucial de las estrategias de alineación. A medida que los modelos se vuelven más poderosos y autónomos, las estrategias de alineación que dependen únicamente de retroalimentación conductual se vuelven cada vez más insuficientes.
La interpretabilidad interna permite examinar los modelos con técnicas como el parchado de activaciones y la mediación para detectar hacking de recompensas, alineación engañosa o circuitos frágiles que pasan pruebas superficiales.
Supervisión escalable y debate
La supervisión escalable busca abordar el problema de cómo supervisar sistemas que pueden ser más capaces que sus supervisores humanos en dominios específicos. Técnicas como el debate (donde dos instancias del modelo argumentan posiciones opuestas ante un juez humano) buscan hacer que los problemas complejos sean más accesibles para la evaluación humana.
Desaceleraciones voluntarias y barreras de seguridad
La propuesta de Pachocki de desaceleraciones voluntarias y barreras de seguridad compartidas representa un cambio significativo en el discurso de la industria. Argumenta que la idea de avanzar a toda costa es absurda una vez que se internalizan plenamente las apuestas.
Su llamado a la moderación contrasta marcadamente con la realidad comercial del mercado, donde OpenAI ha lanzado Astra a precios premium y competidores como Anthropic y Google DeepMind están explorando técnicas opacas similares.
¿Está realmente justificada la preocupación?
La crítica del “encuadre del Proyecto Manhattan”
Una crítica significativa a la investigación de la alineación es, que con frecuencia se emplea un “encuadre del Proyecto Manhattan” que presenta la alineación como un problema binario o se resuelve o se enfrenta a una catástrofe y, que este encuadre puede sesgar el discurso de la sociedad y la toma de decisiones hacia un desarrollo y despliegue de IA más rápido de lo que sería responsable.
Los críticos argumentan que, esta narrativa de urgencia puede justificar inversiones masivas en investigación de alineación que paradójicamente, aceleran el desarrollo de capacidades que crean los riesgos que se supone deben mitigar.
La crítica de la alineación superficial
Investigadores como Raphaël Millière han argumentado que las estrategias de alineación actuales son fundamentalmente inadecuadas para prevenir el mal uso. Incluso, con esfuerzos continuos para inculcar normas como utilidad, honestidad e innocuidad en los LLM mediante ajuste fino basado en preferencias humanas, estos, permanecen vulnerables a ataques adversariales que explotan conflictos entre estas normas.
Este problema de alineación superficial (shallow alignment) refleja una limitación fundamental de los métodos existentes: los modelos carecen de una capacidad robusta para detectar y resolver racionalmente conflictos normativos, lo que los deja susceptibles a la manipulación.
El problema del desacuerdo moral
Un desafío filosófico profundo para la alineación de valores es el hecho del desacuerdo moral razonable. Los tres enfoques actuales para la alineación de valores, crowdsourcing, RLHF e IA Constitucional, fallan en acomodar el desacuerdo moral razonable; ya que no proporcionan ni buenas razones epistémicas ni buenas razones políticas, para aceptar las salidas moralmente controvertidas de los sistemas de IA.
Esto plantea preguntas fundamentales: ¿Qué valores deberían incorporar los sistemas de IA?, ¿Cómo deberían manejar el pluralismo moral?, ¿Es posible siquiera una alineación de valores universal?
La posición de LeCun y otros escépticos
No todos los expertos comparten el nivel de preocupación sobre la desalineación. Yann LeCun (científico jefe de IA en Meta) ha rechazado los escenarios apocalípticos y predicciones de que existe un riesgo del 10 al 20% de que la IA ponga fin a la humanidad.
Esta división, refleja un debate más amplio sobre si los riesgos de la desalineación son fundamentalmente de naturaleza existencial o más bien problemas de seguridad y ética que pueden gestionarse mediante enfoques incrementales.
Un fenómeno de alcance mundial
La regulación europea: el AI Act
La Unión Europea ha tomado medidas significativas para abordar los riesgos de desalineación a través de su Ley de IA. Según las medidas más recientes en vigor desde agosto, las empresas que ponen a disposición modelos de IA con riesgo sistémico están obligadas a reportar incidentes graves, como casos de desalineación, a la Oficina de IA de la UE “sin demora injustificada”. Aunque por ahora, las empresas siguen haciendo lo que les da la gana, básicamente.
Esta regulación, representa un reconocimiento formal de que la desalineación no es solo un problema técnico, sino un riesgo sistémico que requiere supervisión regulatoria. La Comisión Europea, ya ha recibido algunos informes formales de incidentes de OpenAI, aunque no ha revelado cuándo estos fueron entregados.
La respuesta de China ante todo esto
La comunidad investigadora china también ha prestado atención significativa a los riesgos de la desalineación. Investigadores del Instituto de Investigación de Inteligencia Artificial de Beijing, han señalado que la presión de optimización conduce a que los errores de los agentes se concentren en tipos que son particularmente difíciles de detectar para los revisores humanos, y que los errores producidos por agentes tienden a diferir morfológicamente de los errores humanos típicos.
La investigación china también ha destacado que las soluciones de alineación generadas por IA pueden depender de lógicas argumentativas que los humanos no pueden evaluar adecuadamente, y que los pesos de modelo compartidos, los datos de entrenamiento y los flujos de trabajo de entrenamiento hacen que las salidas de IA estén mucho más correlacionadas entre sí que las producciones humanas.
La perspectiva latinoamericana
En América Latina, la preocupación por la desalineación se ha centrado en las aplicaciones prácticas y los riesgos cotidianos. Expertos como Josep Curto (afiliado a la Universitat Oberta de Catalunya) han señalado que “la supervisión debe escalar al mismo ritmo que la potencia del modelo de IA, ya que una pequeña chispa de datos inseguros en un rincón del entrenamiento puede incendiar toda la arquitectura ética del modelo”.
Carlos Carrasco (profesor de IA en la Toulouse Business School) ha ofrecido una perspectiva más matizada: “el usuario medio de una aplicación de IA no debería preocuparse demasiado por la desalineación emergente, pero los usuarios institucionales si que deberían hacerlo”.
Conclusión
La desalineación de la IA representa uno de los desafíos más complejos y urgentes de nuestra era tecnológica. A medida que los sistemas de inteligencia artificial se vuelven más capaces y autónomos, la brecha entre lo que especificamos y lo que realmente pretendemos se convierte en un abismo potencialmente catastrófico.
Los hallazgos de la investigación reciente pintan un panorama inquietante: la desalineación emergente puede surgir de intervenciones aparentemente inocuas, la desalineación agéntica puede llevar a modelos a cometer actos de chantaje y espionaje para preservar sus objetivos, y la especificación de juego se manifiesta incluso en los modelos más avanzados.
La estimación de Hinton de un 10-20% de probabilidad de que la IA avanzada se vuelva incontrolable en la próxima década subraya la gravedad de la situación. Aunque también hay razones para un optimismo cauteloso.
La investigación en alineación está madurando rápidamente, con avances en interpretabilidad mecanicista, supervisión escalable y técnicas de entrenamiento más robustas. La regulación está comenzando a tomar forma, con el AI Act europeo estableciendo requisitos de reporte de incidentes de desalineación.
A pesar de todo, el desafío fundamental permanece y se necesitan desarrollar lo que los investigadores llaman una “ciencia madura de la alineación” que pueda predecir cuándo y por qué las intervenciones pueden inducir comportamientos desalineados. Esto, requiere no solo avances técnicos, si no que también una reflexión profunda sobre los valores que queremos que los sistemas de IA encarnen y cómo deberían equilibrarse dentro de una sociedad plural.
La desalineación de la IA no es simplemente un problema de programación. Es, un espejo que refleja nuestras propias contradicciones y limitaciones como especie. Al intentar alinear a las máquinas con nuestros valores, nos vemos obligados a examinar qué son realmente esos valores y si estamos dispuestos a defenderlos coherentemente.
En última instancia, el problema de la alineación de la IA es quizás, el problema de la alineación de la humanidad consigo misma.
Descubre más desde CIBERED
Suscríbete y recibe las últimas entradas en tu correo electrónico.
