dbt 심화 · D01

필요한 모델만 골라서 돌리기

07·08장에서 dbt build로 전부 돌렸습니다. 모델이 수십 개가 되면 바뀐 것과 그 앞뒤만 골라 돌려야 합니다. 선택 문법과 모델을 저장하는 방식(materialization)을 정리합니다. 이 모듈(D01~D06)은 dbt 2.0.12와 07장의 shop_dbt 프로젝트로 실행했습니다.


준비

실습 키트의 dbt-advanced/ 폴더 안 파일을 shop_dbt/ 안의 같은 위치로 복사합니다. 이 모듈에서 쓰는 증분 모델, 스냅샷, seed, 매크로, 테스트가 들어 있습니다. models/staging/_sources.yml은 신선도 설정이 들어간 파일로 바뀝니다.

선택 문법

명령고르는 대상
dbt ls -s +fct_daily_salesfct_daily_sales와 그 앞(재료가 되는 모델 전부)
dbt ls -s stg_orders+stg_orders와 그 뒤(이 모델을 쓰는 모델과 테스트 전부)
dbt run -s fct_daily_sales그 모델 하나만
dbt build -s state:modified+이전 실행과 비교해 바뀐 모델과 그 뒤 (CI에서 자주 씀)
dbt ls -s +fct_daily_sales --resource-type model
shop.marts.fct_daily_sales
shop.staging.stg_customers
shop.staging.stg_orders
shop.staging.stg_products

dbt ls -s stg_orders+
shop.marts.fct_daily_sales
shop.staging.stg_orders
shop.staging.accepted_values_stg_orders_status__paid__shipped__cancelled
shop.marts.not_null_fct_daily_sales_revenue
...

stg_orders를 고쳤다면 dbt build -s stg_orders+로 그 모델과 영향을 받는 모델, 관련 테스트까지 한 번에 돌립니다. 전체 빌드보다 빠르고, 영향 범위를 놓치지 않습니다.

모델을 저장하는 방식

materialized저장 형태맞는 경우
view뷰(쿼리만 저장)staging처럼 가볍고 자주 바뀌는 모델
table매번 통째로 다시 만드는 테이블분석가가 자주 조회하는 marts
incremental바뀐 부분만 반영하는 테이블행이 많고 매일 조금씩 늘어나는 사실 테이블 (D02)
ephemeral저장하지 않고 다른 모델 안에 끼워 넣음여러 모델이 같이 쓰는 중간 계산

07장의 dbt_project.yml은 폴더 단위로 staging은 view, marts는 table로 정했습니다. 모델 하나만 다르게 하려면 SQL 파일 맨 위에 {{ config(materialized='incremental') }}처럼 적습니다.

이것만 기억하세요

고친 모델은 -s 모델명+로 그 뒤까지 돌립니다. 저장 방식은 데이터 크기와 조회 빈도로 정합니다.

다음
D02. 증분 모델
이어보기 →