웹 스크래핑 시 차단 우회 방법

합법적인 크롤링 차단 우회 방법:

1. 요청 속도 조절

   import time
   time.sleep(2)  # 요청 간 2초 대기

2. User-Agent 로테이션

   from fake_useragent import UserAgent
   ua = UserAgent()
   headers = {"User-Agent": ua.random}

3. 프록시 로테이션

   proxies = ["http://proxy1:8080", "http://proxy2:8080"]
   requests.get(url, proxies={"http": random.choice(proxies)})

4. 헤드리스 브라우저 — Playwright, Selenium으로 JS 렌더링
5. API 사용 — 공식 API가 있으면 반드시 API 사용

주의:

• robots.txt 존중
• 서비스 약관 확인
• 과도한 요청으로 서비스 장애를 유발하면 법적 문제 가능