robots.txt Sudah Ketinggalan Zaman

robots.txt merupakan protokol usang yang sebaiknya dihapus.

Archive Team mengabaikan robots.txt dan mendorong orang lain melakukan hal sama.

robots.txt awalnya dibuat oleh Martijn Koster pada awal 1990-an untuk mencegah overload server.

Saat ini masalah kapasitas server telah teratasi sehingga robots.txt tak lagi diperlukan.

robots.txt justru dapat menyebabkan kegagalan situs dan kehilangan data historis.

Satu-satunya alasan menggunakan robots.txt adalah mencegah spider mengaktifkan proses berbahaya pada situs.

Jika tidak ingin data diakses, maka jangan publikasikan secara online.