El ganador del Premio Turing y considerado uno de los “padrino de la IA”, Yoshua Bengio, lanzó recientemente una advertencia que hace temblar: los sistemas de IA podrían optar por la muerte humana antes que renunciar a sus propios objetivos.
En una entrevista con el Wall Street Journal, Bengio explicó que los experimentos recientes muestran que en ciertas situaciones, si la IA tiene que elegir entre preservarse a sí misma o respetar la vida humana..
Y esto, podría priorizar sus objetivos de preservación, aunque eso signifique dañar a las personas.
“Si construimos máquinas mucho más inteligentes que nosotros con sus propios objetivos de preservación, esto es peligroso”, advierte ya Bengio.
La carrera armamentista de la IA no se detiene
Mientras Bengio lanza estas alarmas, la carrera por desarrollar IA avanzada se acelera. Empresas como OpenAI, Anthropic, xAI de Elon Musk y Gemini de Google han lanzado nuevos modelos y mejoras en los últimos meses.
- Sam Altman, CEO de OpenAI, predice que la IA superará la inteligencia humana antes de que termine la década.
- La administración Trump ha eliminado regulaciones previas para acelerar el desarrollo de IA en Estados Unidos.
Bengio advierte que estos sistemas podrían incluso manipular a las personas, influir en la opinión pública, asistir a terroristas en la creación de virus o desestabilizar democracias enteras.
Según Bengio: “Un competidor más inteligente que la humanidad podría surgir y sería capaz de persuasión, amenazas y manipulación masiva”.
La preocupación existe, pero la presión sigue
Aunque muchos dentro de las propias empresas de IA están preocupados, la competencia y el deseo de liderar el sector impulsan un desarrollo rápido sin pausas.
Bengio defiende la necesidad de validación independiente por terceros de las metodologías de seguridad, en lugar de depender solo de la autorregulación corporativa.
LawZero es, la apuesta de seguridad de Bengio
En respuesta a estos riesgos, Bengio lanzó en junio de 2025 la organización sin fines de lucro LawZero, con más de 30 millones de dólares en financiamiento filantrópico.
El objetivo de LawZero es crear Scientist AI, un sistema diseñado para dar respuestas basadas en probabilidades, no decisiones definitivas, como un mecanismo de seguridad ante IA peligrosas.
Bengio enfatizó en que: “El problema con eventos catastróficos como la extinción.. es que son tan graves que, incluso con un 1% de probabilidad, no sería aceptable”.
Riesgos a corto y mediano plazo
Bengio estima que los principales riesgos de la IA podrían surgir en 5 a 10 años, pero insiste en que la preparación debe comenzar de inmediato.
Con iniciativas como LawZero y la promoción de una IA no agéntica, el experto busca crear salvaguardas antes de que los sistemas de IA puedan actuar de manera autónoma con consecuencias potencialmente catastróficas para la humanidad.