Cloudflare expone a los rastreadores ocultos de Perplexity y lo deslista como bot verificado

Un nuevo informe de Cloudflare revela que Perplexity AI habría estado utilizando rastreadores ocultos para evadir bloqueos y directivas de exclusión en sitios web.

La investigación comenzó tras recibir quejas de clientes que afirmaban que, incluso después de bloquear al bot de Perplexity, este seguía accediendo a su contenido.

Cloudflare concluyó que Perplexity modifica su user agent y cambia de redes (ASN) para ocultar su actividad, además de ignorar los archivos robots.txt, lo que constituye una mala práctica en el ecosistema web.

El problema con los rastreadores de Perplexity

De acuerdo con el reporte:

• Cuando un sitio no bloquea al bot, Perplexity usa su agente declarado PerplexityBot.
• Si el sitio lo bloquea, cambia a un user agent genérico (ejemplo: Chrome/124.0.0.0 Safari/537.36).
• Utiliza múltiples IPs no oficiales y rota entre diferentes ASNs.
• Cloudflare detectó este comportamiento en decenas de miles de dominios, con millones de solicitudes diarias.

Comparación con otros operadores de IA

Compañías como OpenAI sí respetan las reglas: sus rastreadores declaran abiertamente su identidad, obedecen las directivas de robots.txt y se detienen cuando se les bloquea.

Cloudflare probó sus bots y confirmó que cumplen con estas normas.

En cambio, la táctica de Perplexity fue catalogada como “patrón de comportamiento” y no como un incidente aislado.

Respuesta de Cloudflare

Ante estos hallazgos, Cloudflare tomó medidas:

1. Eliminó a Perplexity de su lista de bots verificados.
2. Implementó bloqueo heurístico, una técnica que detecta y bloquea comportamientos sospechosos en lugar de depender de listas fijas de bots.
3. Aseguró que estas protecciones ya están disponibles para todos sus clientes, incluso los que usan planes gratuitos.

Cloudflare también colabora con expertos y organismos internacionales como el IETF para estandarizar nuevas extensiones de robots.txt, con el fin de fijar principios claros para bots responsables.

Impacto en Perplexity y el futuro de la IA

La decisión de Cloudflare podría limitar la capacidad de Perplexity de acceder a contenidos web protegidos, especialmente en sitios que dependen de sus servicios de seguridad.

Esto supone un golpe reputacional para la empresa, en un momento en que la transparencia y el respeto por las reglas web son temas centrales en la regulación de la inteligencia artificial generativa.