dbt 심화 · D01
필요한 모델만 골라서 돌리기
07·08장에서 dbt build로 전부 돌렸습니다. 모델이 수십 개가 되면 바뀐 것과 그 앞뒤만 골라 돌려야 합니다. 선택 문법과 모델을 저장하는 방식(materialization)을 정리합니다. 이 모듈(D01~D06)은 dbt 2.0.12와 07장의 shop_dbt 프로젝트로 실행했습니다.
준비
실습 키트의 dbt-advanced/ 폴더 안 파일을 shop_dbt/ 안의 같은 위치로 복사합니다. 이 모듈에서 쓰는 증분 모델, 스냅샷, seed, 매크로, 테스트가 들어 있습니다. models/staging/_sources.yml은 신선도 설정이 들어간 파일로 바뀝니다.
선택 문법
| 명령 | 고르는 대상 |
|---|---|
dbt ls -s +fct_daily_sales | fct_daily_sales와 그 앞(재료가 되는 모델 전부) |
dbt ls -s stg_orders+ | stg_orders와 그 뒤(이 모델을 쓰는 모델과 테스트 전부) |
dbt run -s fct_daily_sales | 그 모델 하나만 |
dbt build -s state:modified+ | 이전 실행과 비교해 바뀐 모델과 그 뒤 (CI에서 자주 씀) |
dbt ls -s +fct_daily_sales --resource-type model
shop.marts.fct_daily_sales
shop.staging.stg_customers
shop.staging.stg_orders
shop.staging.stg_products
dbt ls -s stg_orders+
shop.marts.fct_daily_sales
shop.staging.stg_orders
shop.staging.accepted_values_stg_orders_status__paid__shipped__cancelled
shop.marts.not_null_fct_daily_sales_revenue
...
stg_orders를 고쳤다면 dbt build -s stg_orders+로 그 모델과 영향을 받는 모델, 관련 테스트까지 한 번에 돌립니다. 전체 빌드보다 빠르고, 영향 범위를 놓치지 않습니다.
모델을 저장하는 방식
| materialized | 저장 형태 | 맞는 경우 |
|---|---|---|
| view | 뷰(쿼리만 저장) | staging처럼 가볍고 자주 바뀌는 모델 |
| table | 매번 통째로 다시 만드는 테이블 | 분석가가 자주 조회하는 marts |
| incremental | 바뀐 부분만 반영하는 테이블 | 행이 많고 매일 조금씩 늘어나는 사실 테이블 (D02) |
| ephemeral | 저장하지 않고 다른 모델 안에 끼워 넣음 | 여러 모델이 같이 쓰는 중간 계산 |
07장의 dbt_project.yml은 폴더 단위로 staging은 view, marts는 table로 정했습니다. 모델 하나만 다르게 하려면 SQL 파일 맨 위에 {{ config(materialized='incremental') }}처럼 적습니다.
이것만 기억하세요
고친 모델은 -s 모델명+로 그 뒤까지 돌립니다. 저장 방식은 데이터 크기와 조회 빈도로 정합니다.