O protocolo robots.txt é considerado obsoleto e ignorado pela Archive Team.
O arquivo robots.txt surgiu nos anos 1990 para evitar sobrecarga de servidores por crawlers iniciais.
Hoje em dia robots.txt causa mais problemas que soluções ao bloquear espelhamento e referências históricas de dados.
A Archive Team ignora robots.txt e recomenda a sua remoção para não impedir o arquivamento de conteúdo.
A única razão válida para usar robots.txt é prevenir processos automáticos indesejados enquanto se corrige configurações do site.
Se não quiser que seus dados sejam arquivados, a solução não é usar robots.txt, mas simplesmente não colocá-los online.
Get notified when new stories are published for "Hacker News 🇵🇹 Português"