수집 · CH04
새로 온 것만, 몇 번 돌려도 같게 적재하기
매일 새 주문 파일이 도착합니다. 이미 적재한 파일은 건너뛰고(증분), 같은 주문이 상태만 바뀌어 다시 오면 최신 값으로 덮어쓰고(upsert), 몇 번을 다시 돌려도 결과가 같게(멱등성) 만듭니다.
적재 스크립트
"""landing/orders 의 일별 CSV를 warehouse.duckdb 의 raw.orders 로 증분 적재한다.
- 이미 적재한 파일은 건너뛴다(적재 기록 테이블).
- 같은 주문이 다시 오면 updated_at 이 더 최신일 때만 덮어쓴다(upsert).
그래서 몇 번을 다시 돌려도 결과가 같다."""
import duckdb, glob, os, sys
DB = sys.argv[1] if len(sys.argv) > 1 else "warehouse.duckdb"
def ingest(db=DB, pattern="landing/orders/*.csv"):
# dbt v2에 들어 있는 DuckDB(1.5)도 읽을 수 있게, 새 파일은 1.5 저장 형식으로 만든다.
con = duckdb.connect(db, config={"storage_compatibility_version": "v1.5.0"})
con.execute("CREATE SCHEMA IF NOT EXISTS raw")
con.execute("""CREATE TABLE IF NOT EXISTS raw.orders (
order_id BIGINT PRIMARY KEY, customer_id BIGINT, product_id BIGINT, qty INTEGER,
status VARCHAR, ordered_at TIMESTAMP, updated_at TIMESTAMP, _source_file VARCHAR)""")
con.execute("CREATE TABLE IF NOT EXISTS raw._loaded_files (file VARCHAR PRIMARY KEY, rows BIGINT, loaded_at TIMESTAMP)")
for tbl in ["customers", "products"]:
con.execute(f"CREATE OR REPLACE TABLE raw.{tbl} AS SELECT * FROM read_csv('landing/{tbl}.csv')")
done = {r[0] for r in con.execute("SELECT file FROM raw._loaded_files").fetchall()}
new_files = [f for f in sorted(glob.glob(pattern)) if os.path.basename(f) not in done]
for f in new_files:
con.execute("BEGIN")
con.execute(f"""
INSERT INTO raw.orders
SELECT *, '{os.path.basename(f)}' FROM read_csv('{f}')
ON CONFLICT (order_id) DO UPDATE SET
status = excluded.status, qty = excluded.qty, updated_at = excluded.updated_at,
_source_file = excluded._source_file
WHERE excluded.updated_at > raw.orders.updated_at""")
n = con.execute(f"SELECT count(*) FROM read_csv('{f}')").fetchone()[0]
con.execute("INSERT INTO raw._loaded_files VALUES (?, ?, now())", [os.path.basename(f), n])
con.execute("COMMIT")
total = con.execute("SELECT count(*) FROM raw.orders").fetchone()[0]
con.close()
return len(new_files), total
if __name__ == "__main__":
n, total = ingest()
print(f"새 파일 {n}개 적재, raw.orders 전체 {total:,}행")
raw._loaded_files에 적재한 파일 이름을 남겨, 다음 실행에서 건너뜁니다.ON CONFLICT ... DO UPDATE ... WHERE excluded.updated_at > ...: 같은 주문이 다시 오면 더 최신 정보일 때만 덮어씁니다.- 파일 하나를
BEGIN~COMMIT으로 묶어, 중간에 실패하면 그 파일은 통째로 적재되지 않습니다. storage_compatibility_version줄은 07장에서 실제로 겪은 문제 때문에 넣었습니다.
실제로 돌려 본 순서
| 실행 | 상황 | 결과 |
|---|---|---|
| 1회 | 11/1~11/5 파일 5개만 도착 | 새 파일 5개, 22,250행 |
| 2회 | 바로 다시 실행 | 새 파일 0개, 22,250행 (변화 없음) |
| 3회 | 11/6~11/7 파일 도착 | 새 파일 2개, 32,200행 |
| 4회 | 11/3 주문 3건이 11/8에 취소됐다는 변경 파일 도착 | 새 파일 1개, 행 수 32,200 그대로, 3건 상태만 paid → cancelled |
4회째가 핵심입니다. 같은 주문이 다시 와도 행이 늘지 않고 상태만 바뀌었습니다. _source_file 컬럼에는 orders_2026-11-08_updates.csv가 남아, 이 값이 어느 파일에서 바뀌었는지 추적할 수 있습니다.
증분 적재에서 자주 틀리는 것
덧붙이기만 함
INSERT만 하면 재실행·재시도 때마다 중복이 쌓입니다. 키 기준 upsert나 "그 날짜 지우고 다시 넣기"를 씁니다.
시각 기준이 모호
"어제 이후 바뀐 것"을 고를 때 updated_at이 없거나 시간대가 섞이면 빠지는 행이 생깁니다(05장의 시간대 사례).
늦게 오는 데이터
환불·취소처럼 며칠 뒤 바뀌는 값이 있습니다. 바뀐 행을 다시 받는 구조를 처음부터 둡니다.
이것만 기억하세요
적재는 "새 것만, 키 기준으로 최신 값만, 파일 단위로 전부 아니면 전무". 이 세 가지가 있어야 재시도와 백필을 마음 놓고 씁니다.