Il file robots.txt indica a bot e motori di ricerca quali pagine non scansionare.
È stato ideato negli anni Novanta per evitare sovraccarichi dei server.
Oggi è considerato obsoleto e può causare perdita di dati storici.
Archive Team ignora robots.txt e suggerisce di eliminarlo.
L’unico uso valido è bloccare crawler che attivano processi indesiderati.
Se non vuoi condividere contenuti, non caricarli su Internet.
Get notified when new stories are published for "Hacker News 🇮🇹 Italiano"