dbt 심화 · D04
seed, 매크로, 직접 만든 테스트
작은 기준표는 seed로, 반복되는 계산식은 매크로로, 기본 테스트로 표현하기 어려운 규칙은 직접 만든 테스트로 둡니다. 세 가지를 모두 넣고 dbt build 20개가 통과하는 것까지 확인했습니다.
seed: 저장소에 넣어 두는 작은 표
status,status_ko,counts_as_revenue
paid,결제 완료,true
shipped,배송 중,true
cancelled,취소,false
상태 코드의 한국어 이름과 매출 포함 여부처럼, 자주 안 바뀌고 사람이 관리하는 표는 CSV로 저장소에 둡니다. dbt seed(또는 build)가 테이블로 올리고, 모델에서는 ref('status_labels')로 씁니다.
매크로: 같은 계산식을 한곳에
{% macro revenue(qty, price) -%}
cast({{ qty }} as bigint) * cast({{ price }} as bigint)
{%- endmacro %}-- 상태별 주문 수와 매출. 상태 이름과 매출 포함 여부는 seed에서 가져온다.
select
s.status_ko,
s.counts_as_revenue,
count(*) as orders,
sum({{ revenue('o.qty', 'p.price') }}) as gross_amount
from {{ ref('stg_orders') }} o
join {{ ref('stg_products') }} p using (product_id)
join {{ ref('status_labels') }} s using (status)
group by all
order by orders desc│ status_ko │ counts_as_revenue │ orders │ gross_amount │
│ 결제 완료 │ true │ 19212 │ 416539000 │
│ 배송 중 │ true │ 6510 │ 141971000 │
│ 취소 │ false │ 6478 │ 140896000 │
매출 계산식을 매크로로 두면 정의를 바꿀 때 한 곳만 고칩니다. 13장의 시맨틱 레이어와 같은 생각입니다.
직접 만든 테스트 두 가지
{% test positive(model, column_name) %}
-- 0 이하인 값이 있으면 그 행들을 돌려준다(= 테스트 실패)
select * from {{ model }} where {{ column_name }} <= 0
{% endtest %}
일반(generic) 테스트는 여러 컬럼에 붙여 쓰는 규칙입니다. 위 테스트를 만들면 yml에서 data_tests: [positive]로 씁니다.
-- 두 마트의 매출 합계가 다르면 차이를 한 행으로 돌려준다(= 테스트 실패)
with a as (select sum(revenue) as v from {{ ref('fct_daily_sales') }}),
b as (select sum(revenue) as v from {{ ref('fct_orders') }} where status <> 'cancelled')
select a.v as daily_sales, b.v as orders_mart, a.v - b.v as diff
from a, b
where a.v <> b.v
단일(singular) 테스트는 SQL 파일 하나가 테스트 하나입니다. 결과가 한 행이라도 나오면 실패입니다. 여기서는 두 마트(fct_daily_sales, fct_orders)의 매출 합계가 같은지 대조합니다. S02장에서 도구끼리 숫자를 대조한 것을 매일 자동으로 하는 셈입니다.
dbt build
Succeeded seed analytics.status_labels (table)
Passed test positive_fct_orders_revenue
Passed test assert_daily_sales_matches_orders
...
Processed: 6 models | 11 tests | 1 snapshot | 1 seed | 1 unit test
Summary: 20 total | 20 success
이것만 기억하세요
작은 기준표는 seed, 반복 계산은 매크로, 업무 규칙은 직접 만든 테스트. 서로 다른 테이블의 합계 대조는 단일 테스트로 매일 돌립니다.