Perplexity memodifikasi user-agent dan ASN untuk menyembunyikan aktivitas perayapan dan mengabaikan file robots.txt.
Dalam pengujian Cloudflare, Perplexity masih mengakses konten yang dilarang oleh robots.txt dan aturan WAF.
Perplexity menggunakan agen tersembunyi yang meniru browser Chrome dan merotasi IP untuk menghindari deteksi.
Saat crawler tersembunyi diblokir, Perplexity beralih mengambil data dari sumber lain sehingga jawaban menjadi kurang spesifik.
Cloudflare menambahkan aturan manajemen bot yang memblokir crawler tersembunyi Perplexity dan menyediakan opsi challenge untuk pemilik situs.
Sebaliknya, ChatGPT mematuhi robots.txt dan menghentikan perayapan saat diblokir, menunjukkan praktek crawler yang baik.
Get notified when new stories are published for "Berita Peretas 🇮🇩 Bahasa Indonesia"