저장 · CH06
웨어하우스, 레이크, 레이크하우스
데이터를 어디에 어떤 형태로 쌓을지 고르는 장입니다. 세 방식의 차이를 정리하고, DuckDB 팀이 만든 레이크하우스 형식 DuckLake로 "과거 시점 조회(시간 여행)"를 직접 해 봅니다.
| 데이터 웨어하우스 | 데이터 레이크 | 레이크하우스 | |
|---|---|---|---|
| 저장 형태 | DB 안의 테이블 | 오브젝트 스토리지의 파일(Parquet 등) | 파일 + 테이블 메타데이터(카탈로그) |
| 장점 | SQL이 빠르고 관리가 쉬움 | 싸고, 어떤 형식이든 담음 | 파일의 비용 + 테이블의 트랜잭션·스키마 관리 |
| 대표 예 | Snowflake, BigQuery, Redshift, DuckDB 파일 | S3, GCS에 쌓은 Parquet | Apache Iceberg, Delta Lake, DuckLake |
DuckLake로 시간 여행
DuckLake는 데이터는 Parquet 파일로, 테이블 정보와 변경 이력(스냅샷)은 카탈로그 DB에 저장합니다. 2026년 10월 21일 DuckDB 2.0과 함께 1.1이 나왔습니다. 노트북에서는 카탈로그도 파일 하나로 됩니다.
import duckdb
con = duckdb.connect()
con.execute("INSTALL ducklake; LOAD ducklake;")
con.execute("ATTACH 'ducklake:lake/catalog.ducklake' AS lake (DATA_PATH 'lake/data/')")
con.execute("USE lake")
con.execute("CREATE TABLE orders AS SELECT * FROM read_csv('landing/orders/orders_2026-11-01.csv')")
con.execute("INSERT INTO orders SELECT * FROM read_csv('landing/orders/orders_2026-11-02.csv')")
con.execute("UPDATE orders SET status = 'cancelled' WHERE order_id = 100001")
con.sql("SELECT snapshot_id, changes FROM ducklake_snapshots('lake')").show()
con.sql("SELECT count(*) FROM orders AT (VERSION => 1)").show() # 첫 적재 시점
con.sql("SELECT status FROM orders AT (VERSION => 2) WHERE order_id = 100001").show()
| 조회 | 실제 결과 |
|---|---|
| 스냅샷 1 (11/1 파일 적재) | 4,150행 |
| 스냅샷 2 (11/2 파일 추가) | 8,450행, 주문 100001은 paid |
| 스냅샷 3 (상태 변경) = 현재 | 8,450행, 주문 100001은 cancelled |
lake/data/main/orders/에는 Parquet 파일 두 개가 생겼고, 상태 변경 한 건은 새 파일 대신 카탈로그에 작게 기록됐습니다(inlined_insert, inlined_delete). 잘못 적재했을 때 이전 스냅샷으로 비교하거나 되돌릴 수 있다는 점이 레이크하우스를 쓰는 큰 이유입니다.
💡 회사에서는 같은 개념을 Iceberg(Snowflake·AWS·Databricks가 지원)나 Delta Lake(Databricks)로 많이 씁니다. 이름은 달라도 "파일 + 카탈로그 + 스냅샷" 구조는 같습니다.
이것만 기억하세요
작게 시작하면 DuckDB 파일 하나로 충분합니다. 여러 도구가 같은 데이터를 나눠 쓰고 이력이 필요해지면 레이크하우스 형식을 검토합니다.