Data — 348개 용어

데이터를 제품처럼. SLA·소비자·버저닝·문서.

Rudderstack Profiles처럼 dbt 모델이 프로파일을 생성.

Snowflake가 외부 Iceberg 테이블 네이티브 지원. 벤더 락 감소.

클라우드 API를 SQL로 쿼리하는 도구. AWS·GCP·Azure·Kubernetes.

검색·자연어 BI. "Search-driven Analytics".

Aurora→Redshift·S3→Snowflake 등 ETL 없는 자동 복제.

@task 데코레이터로 함수 기반 DAG. XCom 자동.

배치·스트리밍 통합 프로그래밍 모델. Dataflow·Flink·Spark 러너.

중앙 데이터 팀이 아닌 도메인 팀이 데이터를 "제품처럼" 소유하는 조직·기술 아키텍처.

데이터를 제품처럼 취급. SLA·문서·소유자·사용자 경험. Data Mesh 핵심.

배치 대신 스트림을 기본으로. Kappa Architecture.

Protobuf·JSON Schema로 데이터 스키마 계약. 배포 전 검증.

분산 소유 + 연방 거버넌스. 공통 표준·상호 운용성.

dbt-utils·dbt-expectations 등 공식·커뮤니티 패키지.

오픈소스 데이터 카탈로그·거버넌스. DataHub 경쟁.

자연어 질문을 SQL로 변환. BI·분석의 민주화.

조직의 데이터 활용 수준. Reactive→Predictive→Prescriptive.

통합 메타데이터 플랫폼. 카탈로그·lineage·품질·거버넌스 한 번에.

2024년 메이저 업데이트. 동기 API·빠른 실행·엔진 리팩터.

Arrow Flight 위의 SQL 프로토콜. JDBC/ODBC를 대체.

Jinja 기반 재사용 SQL 함수. 복잡 로직 캡슐화.

Databricks의 선언적 파이프라인. 의존성·품질·모니터링 자동.

분산 SQL 쿼리 엔진. Facebook이 시작(Presto), 창시자들이 포크한 Trino가 주류.

Iceberg용 Git-like 카탈로그. 브랜치·머지.

분산 Python 프레임워크. ML·강화학습·배치 병렬화. Anyscale 상용화.

LLM이 의미 레이어를 기반으로 정확한 쿼리 생성.

Spark 클라이언트-서버 프로토콜. 원격 실행·다국어 클라이언트.

Spark의 분산 DataFrame API. SQL처럼 편리·Catalyst 최적화.

SQL Warehouse의 서버리스 옵션. 기동 없이 즉시 쿼리.

dbt 모델을 사용하는 downstream(대시보드·앱) 정의.

매니지드 vs 오픈소스. 비용·커넥터·유연성 트레이드오프.

Prometheus 대규모 확장. Cortex 후속.

SQL·Python 노트북 협업 플랫폼. AI 통합 강점.

Corporate Information Factory. 3NF 기반 중앙 Warehouse.

키워드가 아닌 의미 기반 데이터 검색. 임베딩 활용.

여러 회사가 데이터를 공유 없이 조인·분석. 광고·의료.

원본 테이블의 신선도 감사. 지연 알람.

Databricks 선언적 ETL. 데이터 품질 규칙·자동 오케스트레이션.

지식 그래프 기반 RAG. 엔티티·커뮤니티 수준 요약.

데이터 레이크의 Git. 브랜치·커밋·머지로 데이터 관리.

dbt 기반 OSS BI. dbt 메트릭을 대시보드로.

Warehouse 내 SQL 변환이 강력해져 ELT가 주류.

AWS Redshift에서 SQL로 SageMaker 모델 학습·추론.

HNSW·IVF·PQ·ScaNN. ANN 알고리즘.

AWS·Azure 데이터를 BigQuery에서 쿼리. 멀티 클라우드.

OLAP 엔진 종류: ROLAP·MOLAP·HOLAP. 현대는 대부분 ROLAP(Snowflake·BigQuery).

Ray 기반 모델 서빙. 복잡 pipeline·multi-model.

Snowflake의 AI 어시스턴트. Cortex 기반 자연어 SQL.

Databricks의 점진적 파일 인제스트. 스키마 추론·진화.

CSV 파일을 Warehouse 테이블로 로드. 기준 데이터용.