🔸 Cloudflare обнаружила скрытые сканеры Perplexity, обходящие блокировки контента.

 
🔸 Perplexity модифицирует пользовательский агент и меняет ASN для скрытности.  
🔸 Сканеры Perplexity не могут получить доступ к файлам robots.txt.  
🔸 Cloudflare исключила Perplexity из списка проверенных ботов.  
🔸 Perplexity использует несколько IP-адресов и разные ASN.  
🔸 Такое поведение вызывает недоумение, так как Cloudflare наблюдает это в десятках тысяч доменов ежедневно.  
🔸 OpenAI и другие компании соблюдают robots.txt директивы и блокировки.  
🔸 Cloudflare добавила эвристику для блокировки скрытого обхода.  
🔸 Клиенты Cloudflare с управлением ботами и правилами оспаривания уже защищены эвристическими мерами.  
🔸 Cloudflare сотрудничает с техническими экспертами и политиками для стандартизации расширений для robots.txt.