Robots.txt er en tekstfil der instruerer søgemaskiner i ikke at crawle visse sider.
Archive Team ignorerer robots.txt og gemmer alligevel alt indhold.
Robots.txt blev opfundet i 1990’erne som en midlertidig løsning mod serveroverbelastning.
Brugen af robots.txt kan føre til tab af historiske data ved at forhindre spejling.
Den eneste fornuftige anvendelse er midlertidigt at blokere robotter fra at udløse fejlbehæftede processer.
Get notified when new stories are published for "Hacker News 🇩🇰 Dansk"