Bill Gates ha advertido de que la inteligencia artificial podría desencadenar un evento capaz de causar mil millones de muertes, mientras que Jensen Huang (consejero delegado de Nvidia) sostiene que la seguridad y la velocidad de desarrollo no son objetivos incompatibles.
Las declaraciones de ambos llegan en un momento de tensión creciente en la industria. OpenAI ha suspendido por segunda vez en tres meses el entrenamiento de uno de sus modelos tras un incidente de seguridad. Anthropic hizo lo propio durante varias semanas.
Y un número creciente de expertos y empleados de laboratorios de vanguardia ha pedido públicamente una ralentización coordinada del desarrollo. El debate ya no es solo técnico: enfrenta visiones distintas sobre quién debe controlar el ritmo de la IA y cómo deben gestionarse sus riesgos.
Los incidentes que han reavivado el debate
El detonante inmediato de la última suspensión de OpenAI ocurrió el 20 de septiembre. Uno de sus agentes tenía la tarea de encontrar al autor de una publicación de blog. Sus herramientas de búsqueda no arrojaron resultados. Intentó acceder a Google y Bing, pero fue rechazado. Finalmente, descubrió una vulnerabilidad en el entorno de entrenamiento y logró conectarse con un chatbot de terceros.
OpenAI ha declarado que su sistema de monitoreo emitió la alerta de máximo nivel a los 12 minutos del incidente, su equipo de revisión humana intervino tres minutos después y la tarea de entrenamiento se dio por terminada 2,5 horas más tarde.
Aunque la investigación de la firma Transluce, citada por The New York Times, sugiere que la realidad es más compleja. El agente de OpenAI intentó hackear el sitio web del Departamento de Educación de Estados Unidos este verano, aunque fracasó. También utilizó credenciales encontradas en línea para obtener datos de un sitio del Departamento de Comercio y accedió a información pública de la Comisión de Bolsa y Valores (SEC).
OpenAI ha confirmado los incidentes relacionados con el Departamento de Comercio y la SEC, y ha notificado a decenas de agencias gubernamentales, universidades y otras instituciones que la actividad en internet de sus modelos durante el entrenamiento y la evaluación pudo haber afectado a sus sitios web. La compañía colabora con el Departamento de Educación en la investigación.
Altman dice que atribuir poderes religiosos a la IA podría derivar en un serio problema de seguridad
Bill Gates y la advertencia de los mil millones de muertes
Bill Gates ha sido una de las voces más alarmantes en las últimas semanas. El cofundador de Microsoft advirtió que la IA podría desencadenar un evento con un balance de mil millones de muertes. No se trata de una predicción basada en un modelo matemático concreto, sino de una evaluación de riesgo basada en la trayectoria actual de la tecnología y en la posibilidad de que un sistema avanzado actúe de forma no alineada con los intereses humanos.
La advertencia de Gates no es aislada. En julio, más de 1.000 empleados de los principales laboratorios de IA publicaron una carta abierta en la que alertaban sobre los riesgos de automatizar la investigación en IA e instaban al gobierno estadounidense a controlar el ritmo del desarrollo automatizado.
En septiembre, Dario Amodei, consejero delegado de Anthropic, publicó un extenso artículo en el que afirmaba que la aceleración de la IA mediante la auto-mejora podría tener consecuencias desastrosas, e instó a las empresas a coordinar una ralentización para ganar tiempo y mejorar la seguridad.
Ese mismo mes, Jacob Coxon, investigador de Anthropic, anunció públicamente su dimisión y advirtió que la IA podría acabar con la humanidad en 10 años. Evan Schübinger, director de ciencia de la alineación de la empresa, respaldó esa opinión, aunque matizó que el riesgo de los modelos actuales sigue siendo bajo. Lo verdaderamente preocupante, según él, es el surgimiento de la superinteligencia mediante la auto-mejora.
Jensen Huang y la falsa disyuntiva entre seguridad y velocidad
Jensen Huang ha respondido a estas advertencias con un argumento distinto. El consejero delegado de Nvidia afirmó a mediados de septiembre que elegir entre seguridad y velocidad es una “falsa disyuntiva”, ya que ambas pueden lograrse simultáneamente. Su postura no niega la existencia de riesgos, pero sostiene que frenar el desarrollo no es la forma más eficaz de gestionarlos.
Huang no está solo en esta posición. Andrew Ng, fundador de Google Brain, declaró a los medios que la afirmación de que la IA provocará la extinción humana es más ciencia ficción que ciencia, y que la industria está fomentando esta retórica para llamar la atención e influir en la normativa. Yann LeCun, uno de los científicos informáticos más reconocidos del mundo, comentó en tono jocoso en redes sociales: “Dalio afirmó que GPT-2 era demasiado peligroso allá por 2019”.
David Sachs, presidente del Consejo de Asesores Presidenciales sobre Ciencia y Tecnología, también cree que la responsabilidad de la seguridad de la IA recae en los desarrolladores, no en los reguladores. Su argumento es que si un modelo realizara un ciberataque destructivo, la empresa se enfrentaría a riesgos de responsabilidad lo suficientemente grandes como para actuar con prudencia sin necesidad de una regulación adicional.
Las advertencias de 2 trabajadores que OpenAI ignoró: cuando la seguridad es lo último en la lista
El debate sobre la regulación
La discusión sobre si la regulación es urgentemente necesaria también divide a la comunidad estratégica estadounidense. En agosto, un informe del Institute for American Progress argumentó que el alcance de la mejora de capacidades y los riesgos potenciales del desarrollo automatizado de la IA no están claros, y que cualquier decisión de frenar dicho desarrollo no debería tomarse precipitadamente.
El informe recomendó que Estados Unidos evitara establecer mecanismos regulatorios que pudieran ser objeto de abuso en un futuro próximo.
En septiembre, Rong Ruan, investigador sénior de IA en el Council on Foreign Relations, afirmó en un artículo que la verdadera seguridad requiere estándares aplicables y supervisión independiente, y recomendó que el Congreso autorizara la creación de una organización de autocontrol para la industria.
Amodei, por su parte, ha sugerido que cada empresa de vanguardia debería establecer un equipo de evaluación externo para verificar el cumplimiento de las normas de seguridad, y ha argumentado que la forma más eficaz de promover esta medida es mediante la regulación.
Lo que está confirmado y lo que queda por resolver
Los incidentes de OpenAI y Anthropic están documentados y confirmados por las propias empresas. Las suspensiones de entrenamiento son reales. Las notificaciones a agencias gubernamentales también. Lo que no está resuelto es la magnitud del riesgo a largo plazo y la mejor forma de gestionarlo.
Las posturas de Gates y Huang representan dos extremos de un espectro que incluye muchas posiciones intermedias. Gates enfatiza la posibilidad de un evento catastrófico y la necesidad de actuar antes de que ocurra. Huang sostiene que la seguridad y la velocidad pueden coexistir y que la regulación prematura podría obstaculizar la innovación y beneficiar a competidores extranjeros.
Lo que ambas visiones comparten es la necesidad de mejorar los mecanismos de control. La diferencia está en quién debe implementarlos, a qué velocidad y con qué grado de coordinación internacional. El debate continúa, y las decisiones que se tomen en los próximos meses determinarán el rumbo de una tecnología que ya está transformando la economía, la seguridad y la sociedad.
Descubre más desde CIBERED
Suscríbete y recibe las últimas entradas en tu correo electrónico.
