파이썬으로 웹 크롤링하는 기본 방법

Python 웹 크롤링 기본:

import requests
from bs4 import BeautifulSoup

# 기본 크롤링
res = requests.get("https://example.com")
soup = BeautifulSoup(res.text, "html.parser")

# 제목 추출
titles = soup.select("h2.title")
for t in titles:
    print(t.text.strip())

# JavaScript 렌더링이 필요한 경우
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")
# driver.find_element(...)

주의사항:

• robots.txt 확인 — 크롤링 허용 여부
• 요청 간격 — time.sleep(1~2)으로 서버 부하 방지
• User-Agent 설정 — 봇임을 명시하거나 적절한 UA 사용
• 법적 문제 — 저작권 있는 콘텐츠 무단 수집 주의
• API 우선 — 공식 API가 있으면 크롤링보다 API 사용