개요

SmartCrawler는 자연어로 수집 대상을 정의하면 AI가 자동으로 웹 데이터를 추출하는 지능형 크롤러입니다. 복잡한 사이트 구조도 AI가 자동으로 분석하고 탐색합니다.

주요 기능

• 자연어 크롤링 — "쿠팡에서 노트북 가격 수집해줘" 같은 자연어 명령으로 크롤링합니다.
• AI 데이터 추출 — GPT-4가 페이지 구조를 분석하고 필요한 데이터를 자동 추출합니다.
• JavaScript 렌더링 — Playwright 기반으로 SPA, 동적 페이지도 완벽 지원합니다.
• 스케줄링 — cron 기반 자동 반복 크롤링을 지원합니다.
• 내보내기 — JSON, CSV, Excel 등 다양한 형식으로 데이터를 내보냅니다.

사용 예시

from smartcrawler import Crawler

crawler = Crawler(api_key="your-key")
result = crawler.scrape(
    url="https://example.com/products",
    instruction="모든 상품의 이름, 가격, 평점을 수집해줘"
)
result.to_csv("products.csv")

시스템 요구사항

• Python 3.9 이상
• Chrome 또는 Chromium 설치
• OpenAI API 키