수집 · CH04

새로 온 것만, 몇 번 돌려도 같게 적재하기

매일 새 주문 파일이 도착합니다. 이미 적재한 파일은 건너뛰고(증분), 같은 주문이 상태만 바뀌어 다시 오면 최신 값으로 덮어쓰고(upsert), 몇 번을 다시 돌려도 결과가 같게(멱등성) 만듭니다.


적재 스크립트

"""landing/orders 의 일별 CSV를 warehouse.duckdb 의 raw.orders 로 증분 적재한다.
- 이미 적재한 파일은 건너뛴다(적재 기록 테이블).
- 같은 주문이 다시 오면 updated_at 이 더 최신일 때만 덮어쓴다(upsert).
그래서 몇 번을 다시 돌려도 결과가 같다."""
import duckdb, glob, os, sys

DB = sys.argv[1] if len(sys.argv) > 1 else "warehouse.duckdb"

def ingest(db=DB, pattern="landing/orders/*.csv"):
    # dbt v2에 들어 있는 DuckDB(1.5)도 읽을 수 있게, 새 파일은 1.5 저장 형식으로 만든다.
    con = duckdb.connect(db, config={"storage_compatibility_version": "v1.5.0"})
    con.execute("CREATE SCHEMA IF NOT EXISTS raw")
    con.execute("""CREATE TABLE IF NOT EXISTS raw.orders (
        order_id BIGINT PRIMARY KEY, customer_id BIGINT, product_id BIGINT, qty INTEGER,
        status VARCHAR, ordered_at TIMESTAMP, updated_at TIMESTAMP, _source_file VARCHAR)""")
    con.execute("CREATE TABLE IF NOT EXISTS raw._loaded_files (file VARCHAR PRIMARY KEY, rows BIGINT, loaded_at TIMESTAMP)")
    for tbl in ["customers", "products"]:
        con.execute(f"CREATE OR REPLACE TABLE raw.{tbl} AS SELECT * FROM read_csv('landing/{tbl}.csv')")
    done = {r[0] for r in con.execute("SELECT file FROM raw._loaded_files").fetchall()}
    new_files = [f for f in sorted(glob.glob(pattern)) if os.path.basename(f) not in done]
    for f in new_files:
        con.execute("BEGIN")
        con.execute(f"""
        INSERT INTO raw.orders
        SELECT *, '{os.path.basename(f)}' FROM read_csv('{f}')
        ON CONFLICT (order_id) DO UPDATE SET
            status = excluded.status, qty = excluded.qty, updated_at = excluded.updated_at,
            _source_file = excluded._source_file
        WHERE excluded.updated_at > raw.orders.updated_at""")
        n = con.execute(f"SELECT count(*) FROM read_csv('{f}')").fetchone()[0]
        con.execute("INSERT INTO raw._loaded_files VALUES (?, ?, now())", [os.path.basename(f), n])
        con.execute("COMMIT")
    total = con.execute("SELECT count(*) FROM raw.orders").fetchone()[0]
    con.close()
    return len(new_files), total

if __name__ == "__main__":
    n, total = ingest()
    print(f"새 파일 {n}개 적재, raw.orders 전체 {total:,}행")

실제로 돌려 본 순서

실행상황결과
1회11/1~11/5 파일 5개만 도착새 파일 5개, 22,250행
2회바로 다시 실행새 파일 0개, 22,250행 (변화 없음)
3회11/6~11/7 파일 도착새 파일 2개, 32,200행
4회11/3 주문 3건이 11/8에 취소됐다는 변경 파일 도착새 파일 1개, 행 수 32,200 그대로, 3건 상태만 paid → cancelled

4회째가 핵심입니다. 같은 주문이 다시 와도 행이 늘지 않고 상태만 바뀌었습니다. _source_file 컬럼에는 orders_2026-11-08_updates.csv가 남아, 이 값이 어느 파일에서 바뀌었는지 추적할 수 있습니다.

증분 적재에서 자주 틀리는 것

덧붙이기만 함

INSERT만 하면 재실행·재시도 때마다 중복이 쌓입니다. 키 기준 upsert나 "그 날짜 지우고 다시 넣기"를 씁니다.

시각 기준이 모호

"어제 이후 바뀐 것"을 고를 때 updated_at이 없거나 시간대가 섞이면 빠지는 행이 생깁니다(05장의 시간대 사례).

늦게 오는 데이터

환불·취소처럼 며칠 뒤 바뀌는 값이 있습니다. 바뀐 행을 다시 받는 구조를 처음부터 둡니다.

이것만 기억하세요

적재는 "새 것만, 키 기준으로 최신 값만, 파일 단위로 전부 아니면 전무". 이 세 가지가 있어야 재시도와 백필을 마음 놓고 씁니다.

다음
05. dlt로 API 수집하기
이어보기 →