DuckDB — 분석 쿼리를 위한 임베디드 데이터베이스

DuckDB란

DuckDB는 분석(OLAP) 워크로드에 최적화된 임베디드 데이터베이스입니다. 설치 없이 파일 하나로 동작합니다.

CSV/Parquet 직접 쿼리

import duckdb

# CSV 파일 직접 쿼리
result = duckdb.sql("""
  SELECT category, SUM(amount) as total
  FROM 'sales.csv'
  GROUP BY category
  ORDER BY total DESC
""")

# Parquet 파일도 동일
result = duckdb.sql("SELECT * FROM 'data.parquet' WHERE year = 2024")

Pandas보다 빠른 이유

컬럼 기반 저장, 벡터화 실행, 멀티스레드 처리로 대용량 분석이 훨씬 빠릅니다.