저장 · CH06

웨어하우스, 레이크, 레이크하우스

데이터를 어디에 어떤 형태로 쌓을지 고르는 장입니다. 세 방식의 차이를 정리하고, DuckDB 팀이 만든 레이크하우스 형식 DuckLake로 "과거 시점 조회(시간 여행)"를 직접 해 봅니다.


데이터 웨어하우스데이터 레이크레이크하우스
저장 형태DB 안의 테이블오브젝트 스토리지의 파일(Parquet 등)파일 + 테이블 메타데이터(카탈로그)
장점SQL이 빠르고 관리가 쉬움싸고, 어떤 형식이든 담음파일의 비용 + 테이블의 트랜잭션·스키마 관리
대표 예Snowflake, BigQuery, Redshift, DuckDB 파일S3, GCS에 쌓은 ParquetApache Iceberg, Delta Lake, DuckLake

DuckLake로 시간 여행

DuckLake는 데이터는 Parquet 파일로, 테이블 정보와 변경 이력(스냅샷)은 카탈로그 DB에 저장합니다. 2026년 10월 21일 DuckDB 2.0과 함께 1.1이 나왔습니다. 노트북에서는 카탈로그도 파일 하나로 됩니다.

import duckdb
con = duckdb.connect()
con.execute("INSTALL ducklake; LOAD ducklake;")
con.execute("ATTACH 'ducklake:lake/catalog.ducklake' AS lake (DATA_PATH 'lake/data/')")
con.execute("USE lake")
con.execute("CREATE TABLE orders AS SELECT * FROM read_csv('landing/orders/orders_2026-11-01.csv')")
con.execute("INSERT INTO orders SELECT * FROM read_csv('landing/orders/orders_2026-11-02.csv')")
con.execute("UPDATE orders SET status = 'cancelled' WHERE order_id = 100001")

con.sql("SELECT snapshot_id, changes FROM ducklake_snapshots('lake')").show()
con.sql("SELECT count(*) FROM orders AT (VERSION => 1)").show()            # 첫 적재 시점
con.sql("SELECT status FROM orders AT (VERSION => 2) WHERE order_id = 100001").show()
조회실제 결과
스냅샷 1 (11/1 파일 적재)4,150행
스냅샷 2 (11/2 파일 추가)8,450행, 주문 100001은 paid
스냅샷 3 (상태 변경) = 현재8,450행, 주문 100001은 cancelled

lake/data/main/orders/에는 Parquet 파일 두 개가 생겼고, 상태 변경 한 건은 새 파일 대신 카탈로그에 작게 기록됐습니다(inlined_insert, inlined_delete). 잘못 적재했을 때 이전 스냅샷으로 비교하거나 되돌릴 수 있다는 점이 레이크하우스를 쓰는 큰 이유입니다.

💡 회사에서는 같은 개념을 Iceberg(Snowflake·AWS·Databricks가 지원)나 Delta Lake(Databricks)로 많이 씁니다. 이름은 달라도 "파일 + 카탈로그 + 스냅샷" 구조는 같습니다.

이것만 기억하세요

작게 시작하면 DuckDB 파일 하나로 충분합니다. 여러 도구가 같은 데이터를 나눠 쓰고 이력이 필요해지면 레이크하우스 형식을 검토합니다.

다음
07. dbt로 변환하기
이어보기 →