Meta якобы массово скрапит независимые сайты, включая инстансы Федиверса, игнорируя инструкции robots.txt.
Meta официально отрицает обвинения, называя список фейковым.
В утекшем PDF-документе содержится 1659 страниц URL-адресов, среди которых указаны 46 инстансов Mastodon, 6 Lemmy и 46 PeerTube.
Админам рекомендуется проверить, присутствует ли их инстанс или связанные федерированные сервисы в этом списке.
Предлагаются защитные меры: разработка пользовательского соглашения с запретом скрапинга, запросы на удаление данных через формы Meta и GDPR, блокировка по User-Agent, файрвол и zip-бомбы.
Борьба со скрапингом для обучения ИИ осложнена отсутствием единого регулирования и разнородностью реализуемых технических решений.
Get notified when new stories are published for "Hacker News 🇷🇺 Русский"