ROBOTS.TXT сегодня считается устаревшим и неэффективным способом управления веб-роботами.
Archive Team полностью игнорирует файл ROBOTS.TXT и рекомендует его удалять.
Изначально файл был временной мерой для защиты серверов от перегрузок ранних браузеров.
Использование ROBOTS.TXT может привести к утрате важного исторического контента.
Единственная обоснованная причина для ROBOTS.TXT — временно блокировать автоматические процессы при исправлении конфигурации.
Если вы не хотите, чтобы ваши данные были доступны, не публикуйте их в интернете.
Get notified when new stories are published for "Hacker News 🇷🇺 Русский"