Cloudflare가 HTTP 402 응답 코드를 활용해 AI 크롤러가 콘텐츠 접근 시 비용을 청구하는 페이 퍼 크롤 기능을 도입했습니다.
도메인 소유자는 AI 크롤러별로 허용, 유료, 차단 세 가지 접근 정책과 사이트 전체의 요청당 단일 가격을 설정할 수 있습니다.
AI 크롤러는 crawler-max-price 또는 crawler-exact-price HTTP 헤더로 결제 의사를 표시하고, 402 또는 200 응답을 받아 콘텐츠 접근을 진행합니다.
크롤러 식별은 Web Bot Auth와 HTTP Message Signatures를 통해 안전하게 인증이 이루어집니다.
Cloudflare가 결제 처리 및 정산을 담당해 크롤러가 결제 의사를 표시한 요청에 대해 자동으로 청구 및 수익 배분을 수행합니다.
Get notified when new stories are published for "🇰🇷 Hacker News 한국어"