OpenAI ha lanzado una herramienta de detección de material de abuso sexual infantil (CSAM) que reduce un 48% las imágenes marcadas erróneamente y duplica la probabilidad de que una imagen señalada contenga realmente abuso, y la ofrecerá de forma gratuita a través de su API a organizaciones verificadas que trabajen en casos de seguridad infantil.
El anuncio se produjo el 16 de noviembre. La herramienta combina un nuevo clasificador de imágenes con cambios en el comportamiento de ChatGPT cuando un usuario intenta buscar material de abuso.
Es la primera vez que OpenAI pone a disposición de terceros un sistema de detección especializado en este tipo de contenido, y llega en un momento en el que las empresas de IA afrontan un escrutinio creciente sobre cómo gestionan la explotación infantil en sus plataformas.
¿Qué hace el nuevo clasificador de imágenes?
El clasificador analiza imágenes y busca características visuales asociadas al abuso. Su función es doble: por un lado, ayuda a los equipos de moderación a identificar material que no habían visto antes; por otro, asigna una puntuación que permite priorizar qué casos requieren atención inmediata.
OpenAI ha comparado el rendimiento del nuevo sistema con las medidas de protección que ya utilizaba. Los datos que ha publicado son los siguientes:
- Reducción del 48% en el número de imágenes marcadas erróneamente.
- Duplicación de la probabilidad de que una imagen marcada contenga realmente contenido de abuso.
- Una de cada cuatro imágenes marcadas termina siendo bloqueada tras la revisión.
La reducción de falsos positivos es relevante porque los equipos de moderación trabajan con recursos limitados. Si el sistema señala menos imágenes que no son problemáticas, los revisores pueden dedicar más tiempo a los casos que sí lo son.
El papel de NCMEC en el desarrollo
El Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) de Estados Unidos participó en el desarrollo de la herramienta. La organización colaboró en el entrenamiento del clasificador, en su evaluación y en el proceso de despliegue.
NCMEC es la organización de referencia en Estados Unidos para la coordinación de casos de explotación infantil. Su participación aporta al proyecto un conocimiento del dominio que OpenAI no tiene internamente y facilita la integración de la herramienta con los flujos de trabajo de las fuerzas del orden.
Los cambios en ChatGPT: advertencias, suspensión y derivación
La segunda parte del anuncio afecta al comportamiento de ChatGPT. Cuando un usuario intenta buscar material de abuso sexual infantil, el sistema ahora:
- Interrumpe la operación en curso.
- Explica las consecuencias legales y humanas de ese tipo de contenido.
- Ofrece recursos de ayuda para personas que puedan estar en riesgo de cometer este tipo de delitos.
Además, la cuenta del usuario queda suspendida temporalmente durante 24 horas. Si el comportamiento se repite, la suspensión se amplía. Las reincidencias reiteradas pueden llevar al cierre permanente de la cuenta y a la notificación a las autoridades competentes.
OpenAI no ha detallado cómo distingue entre una búsqueda accidental o curiosa y una búsqueda deliberada, ni ha especificado cuántos usuarios han sido suspendidos desde que el sistema entró en funcionamiento.
La guía conjunta con Anthropic y Google
OpenAI también ha colaborado con Anthropic y Google para encargar una guía sobre cómo las empresas de IA deben gestionar la detección y la respuesta ante casos de explotación y abuso sexual infantil. La guía ha sido publicada por Tech Coalition, una alianza de empresas tecnológicas dedicada a la protección de menores.
El documento ofrece recomendaciones prácticas para los desarrolladores sobre cómo detectar, reportar y responder a estos casos. No es un marco regulatorio, sino un conjunto de buenas prácticas acordadas por tres de los principales laboratorios de IA del mundo.
¿Por qué esta iniciativa es relevante?
La explotación infantil generada por IA es un problema que ha crecido en paralelo al desarrollo de los modelos de imagen y vídeo.
Los casos documentados en los últimos meses, algunos de ellos vinculados a herramientas comerciales, han puesto de manifiesto que los sistemas de generación pueden ser utilizados para producir material de abuso a partir de fotografías inocuas.
La respuesta de OpenAI combina dos enfoques. El primero es técnico: un clasificador que ayuda a detectar el material. El segundo es de comportamiento: un sistema que disuade al usuario e interviene cuando intenta buscar ese contenido. Ninguno de los dos resuelve el problema por completo, pero ambos añaden capas de protección que antes no existían.
La colaboración con NCMEC y con otras empresas de IA indica que el sector está empezando a coordinar esfuerzos en un área donde la acción individual es insuficiente.
Lo que falta por confirmar
OpenAI no ha detallado cómo verifica a las organizaciones que solicitan acceso a la herramienta a través de su API, ni ha especificado qué requisitos deben cumplir para ser consideradas elegibles. Tampoco ha publicado el coste que supone para la compañía ofrecer el servicio de forma gratuita.
La compañía no ha indicado si el clasificador estará disponible para todos los tipos de contenido o solo para imágenes, ni ha detallado cómo se integra con los sistemas de reporte existentes. Tampoco ha especificado si los datos de las imágenes analizadas se conservan y, en caso afirmativo, durante cuánto tiempo.
Preguntas frecuentes (FAQ) sobre este artículo
El anuncio y la herramienta
1. ¿Qué ha lanzado OpenAI?
Una herramienta de detección de material de abuso sexual infantil (CSAM).
2. ¿Cuánto reduce las imágenes marcadas erróneamente?
Un 48%.
3. ¿Qué duplica la nueva herramienta?
La probabilidad de que una imagen señalada contenga realmente abuso.
4. ¿Cómo se ofrece la herramienta?
De forma gratuita a través de su API a organizaciones verificadas.
5. ¿A quién se ofrece la herramienta?
A organizaciones verificadas que trabajen en casos de seguridad infantil.
6. ¿Cuándo se produjo el anuncio?
El 16 de noviembre.
7. ¿Qué combina la herramienta?
Un nuevo clasificador de imágenes con cambios en el comportamiento de ChatGPT.
8. ¿Es la primera vez que OpenAI pone a disposición de terceros un sistema así?
Sí, es la primera vez.
9. ¿En qué contexto llega este anuncio?
En un momento de escrutinio creciente sobre cómo las empresas de IA gestionan la explotación infantil.
Qué hace el clasificador de imágenes
10. ¿Qué busca el clasificador en las imágenes?
Características visuales asociadas al abuso.
11. ¿Qué doble función tiene el clasificador?
Identificar material nuevo y asignar una puntuación para priorizar casos urgentes.
12. ¿A quién ayuda el clasificador en la identificación?
A los equipos de moderación.
13. ¿Para qué sirve la puntuación que asigna?
Para priorizar qué casos requieren atención inmediata.
14. ¿Con qué ha comparado OpenAI el nuevo sistema?
Con las medidas de protección que ya utilizaba.
15. ¿Cuántas imágenes marcadas terminan bloqueadas tras la revisión?
Una de cada cuatro.
16. ¿Por qué es relevante la reducción de falsos positivos?
Porque los equipos de moderación trabajan con recursos limitados.
17. ¿Qué permite señalar menos imágenes no problemáticas?
Dedicar más tiempo a los casos que sí lo son.
El papel de NCMEC
18. ¿Qué significa NCMEC?
Centro Nacional para Niños Desaparecidos y Explotados de Estados Unidos.
19. ¿Participó NCMEC en el desarrollo de la herramienta?
Sí, participó en su desarrollo.
20. ¿En qué colaboró NCMEC concretamente?
En el entrenamiento del clasificador, su evaluación y el proceso de despliegue.
21. ¿Qué aporta NCMEC al proyecto?
Conocimiento del dominio que OpenAI no tiene internamente.
22. ¿Qué facilita la participación de NCMEC?
La integración de la herramienta con los flujos de trabajo de las fuerzas del orden.
Cambios en ChatGPT
23. ¿A qué afecta la segunda parte del anuncio?
Al comportamiento de ChatGPT.
24. ¿Qué hace el sistema cuando un usuario intenta buscar material de abuso?
Interrumpe la operación en curso.
25. ¿Qué explica el sistema al usuario?
Las consecuencias legales y humanas de ese tipo de contenido.
26. ¿Qué ofrece el sistema además de la advertencia?
Recursos de ayuda para personas en riesgo de cometer esos delitos.
27. ¿Cuánto dura la suspensión inicial de la cuenta?
24 horas.
28. ¿Qué ocurre si el comportamiento se repite?
Que la suspensión se amplía.
29. ¿Qué puede ocurrir tras reincidencias reiteradas?
El cierre permanente de la cuenta y la notificación a las autoridades competentes.
30. ¿OpenAI ha detallado cómo distingue una búsqueda accidental de una deliberada?
No, no lo ha detallado.
31. ¿OpenAI ha especificado cuántos usuarios han sido suspendidos?
No, no lo ha especificado.
La guía conjunta con Anthropic y Google
32. ¿Con quién ha colaborado OpenAI para la guía?
Con Anthropic y Google.
33. ¿Qué encargaron las tres empresas?
Una guía sobre cómo gestionar la detección y la respuesta ante casos de explotación y abuso sexual infantil.
34. ¿Quién ha publicado la guía?
Tech Coalition.
35. ¿Qué es Tech Coalition?
Una alianza de empresas tecnológicas dedicada a la protección de menores.
36. ¿Qué ofrece el documento?
Recomendaciones prácticas sobre cómo detectar, reportar y responder a estos casos.
37. ¿Es un marco regulatorio?
No, es un conjunto de buenas prácticas.
38. ¿Quiénes han acordado esas buenas prácticas?
Tres de los principales laboratorios de IA del mundo.
Relevancia de la iniciativa
39. ¿Junto a qué ha crecido el problema de la explotación infantil generada por IA?
Junto al desarrollo de los modelos de imagen y vídeo.
40. ¿Qué han puesto de manifiesto los casos documentados?
Que los sistemas de generación pueden producir material de abuso a partir de fotografías inocuas.
41. ¿Qué dos enfoques combina la respuesta de OpenAI?
Un enfoque técnico y un enfoque de comportamiento.
42. ¿En qué consiste el enfoque técnico?
En un clasificador que ayuda a detectar el material.
43. ¿En qué consiste el enfoque de comportamiento?
En un sistema que disuade e interviene cuando el usuario busca ese contenido.
44. ¿Alguno de los dos enfoques resuelve el problema por completo?
No, ninguno lo resuelve por completo.
45. ¿Qué añaden ambos enfoques?
Capas de protección que antes no existían.
46. ¿Qué indica la colaboración con NCMEC y otras empresas de IA?
Que el sector está empezando a coordinar esfuerzos en un área donde la acción individual es insuficiente.
Lo que falta por confirmar
47. ¿OpenAI ha detallado cómo verifica a las organizaciones que solicitan acceso?
No, no lo ha detallado.
48. ¿OpenAI ha especificado los requisitos para ser elegible?
No, no los ha especificado.
49. ¿OpenAI ha publicado el coste de ofrecer el servicio gratis?
No, no lo ha publicado.
50. ¿OpenAI ha indicado si el clasificador estará disponible para todos los tipos de contenido?
No, no lo ha indicado.
51. ¿OpenAI ha especificado si el clasificador solo funciona con imágenes?
No lo ha detallado; solo ha indicado que el clasificador analiza imágenes.
52. ¿OpenAI ha detallado cómo se integra con los sistemas de reporte existentes?
No, no lo ha detallado.
53. ¿OpenAI ha especificado si los datos de las imágenes se conservan?
No, no lo ha especificado.
54. ¿OpenAI ha indicado durante cuánto tiempo se conservan esos datos?
No, no lo ha indicado.
Resumen y opciones de título
55. ¿Qué dato destaca más en el anuncio?
La reducción del 48% en falsos positivos.
56. ¿Qué porcentaje de imágenes marcadas se bloquea tras la revisión?
Una de cada cuatro.
57. ¿Qué tres empresas han colaborado en la guía?
OpenAI, Anthropic y Google.
58. ¿Qué organización ha publicado la guía?
Tech Coalition.
59. ¿Qué sanción inicial recibe un usuario que busca material de abuso en ChatGPT?
Una suspensión temporal de 24 horas.
60. ¿Qué puede ocurrir si la conducta se repite de forma reiterada?
El cierre permanente de la cuenta y la notificación a las autoridades.
61. ¿Qué opción de título destaca el 48%?
La opción 1 y la opción 4.
62. ¿Qué opción de título usa formato de pregunta?
La opción 3.
63. ¿Qué opción de título menciona la alianza con Anthropic y Google?
La opción 5.
64. ¿Qué opción de título destaca la suspensión de 24 horas?
La opción 2 y la opción 4.
65. ¿La herramienta es de pago para las organizaciones verificadas?
No, se ofrece de forma gratuita.
66. ¿Qué tipo de organizaciones pueden acceder a la herramienta?
Organizaciones verificadas que trabajen en casos de seguridad infantil.
67. ¿Qué mejora técnica principal aporta el clasificador?
Menos falsos positivos y mayor precisión en las imágenes señaladas.
68. ¿Qué ocurre con la operación en curso cuando el usuario busca material de abuso?
Se interrumpe.
69. ¿Qué recurso ofrece ChatGPT además de la advertencia?
Recursos de ayuda para personas en riesgo.
70. ¿Qué organismo de referencia en EE. UU. colaboró con OpenAI?
NCMEC.
Descubre más desde CIBERED
Suscríbete y recibe las últimas entradas en tu correo electrónico.



