dbt 심화 · D02
증분 모델: 바뀐 주문만 다시 계산
주문이 매일 쌓이면 매출 테이블을 매번 통째로 다시 만드는 비용이 커집니다. 증분(incremental) 모델은 처음엔 전체를, 그다음부터는 바뀐 행만 처리합니다. 늦게 도착한 변경을 놓치는 함정도 직접 재현했습니다.
{{ config(materialized='incremental', unique_key='order_id') }}
-- 주문 한 건에 고객 지역·상품 카테고리·매출을 붙인 테이블.
-- 처음엔 전체를, 다음부터는 마지막 적재 이후 바뀐 주문만 처리한다.
select
o.order_id,
o.order_date,
o.status,
c.region,
p.category,
o.qty * p.price as revenue,
o.updated_at
from {{ ref('stg_orders') }} o
join {{ ref('stg_customers') }} c using (customer_id)
join {{ ref('stg_products') }} p using (product_id)
{% if is_incremental() %}
-- 늦게 도착하는 변경을 놓치지 않게 3일을 겹쳐서 다시 본다
where o.updated_at > (select max(updated_at) - interval 3 day from {{ this }})
{% endif %}
unique_key='order_id': 같은 주문이 다시 오면 덮어씁니다. DuckDB에서는 기존 행을 지우고(delete) 새로 넣는(insert) SQL이 실행됐습니다(target/run/에서 확인).{% if is_incremental() %}안의 조건은 두 번째 실행부터만 붙습니다.{{ this }}는 이미 만들어진 자기 테이블입니다.
실제로 돌려 본 순서
| 단계 | 상황 | 결과 |
|---|---|---|
| 1 | 11/1~11/5 주문으로 첫 실행 | 22,250행 |
| 2 | 11/6~11/7 파일 적재 후 실행 | 32,200행 (새 주문만 추가) |
| 3 | 11/8 취소 변경 3건 적재 후 실행 | 32,200행 그대로, 3건이 cancelled로 바뀜 |
| 4 | 주문 200001이 취소됐는데 변경 시각이 11/7 12:00(이미 반영된 최신 시각 11/8 09:00보다 과거) | paid 그대로 (놓침) |
| 5 | 조건에 "3일 되돌아보기" 추가 후 실행 | cancelled로 반영, 행 수 32,200 그대로 |
4단계가 증분 모델의 대표 함정입니다. "마지막으로 본 시각 이후"만 가져오면, 시스템 사이 지연 때문에 과거 시각으로 늦게 도착한 변경을 영영 놓칩니다. 그래서 위 코드처럼 max(updated_at) - interval 3 day로 며칠을 겹쳐서 다시 봅니다. unique_key가 있어서 겹쳐 봐도 중복은 생기지 않습니다. 며칠을 겹칠지는 원천 시스템의 지연을 보고 정합니다.
처음부터 다시 만들기
dbt run -s fct_orders --full-refresh # 증분을 무시하고 전체를 다시 만듭니다
계산 로직(컬럼, 조인)을 바꿨다면 이미 쌓인 행은 옛 로직으로 계산된 상태입니다. 로직을 바꾼 뒤에는 한 번 --full-refresh를 합니다.
이것만 기억하세요
증분 모델은 unique_key로 덮어쓰고, 조건에 며칠 겹치는 되돌아보기 기간을 둡니다. 로직을 바꾸면 --full-refresh.