웹 크롤러 차단하는 방법

악성 크롤러 차단 방법:

1. Nginx에서 차단:

# 특정 User-Agent 차단
if ($http_user_agent ~* (scrapy|curl|wget|python-requests|Go-http-client)) {
  return 403;
}

# 빈 User-Agent 차단
if ($http_user_agent = "") {
  return 403;
}

# rate limiting
limit_req_zone $binary_remote_addr zone=crawl:10m rate=2r/s;
location / {
  limit_req zone=crawl burst=5;
}

2. robots.txt:

User-agent: *
Disallow: /api/
Disallow: /admin/
Crawl-delay: 10

3. 추가 방법:

• fail2ban — 과도한 요청 IP 자동 차단
• Cloudflare Bot Management
• CAPTCHA — 의심스러운 접근 시 챌린지
• JavaScript 챌린지 — JS 실행 못하는 봇 차단