dbt 심화 · D04

seed, 매크로, 직접 만든 테스트

작은 기준표는 seed로, 반복되는 계산식은 매크로로, 기본 테스트로 표현하기 어려운 규칙은 직접 만든 테스트로 둡니다. 세 가지를 모두 넣고 dbt build 20개가 통과하는 것까지 확인했습니다.


seed: 저장소에 넣어 두는 작은 표

status,status_ko,counts_as_revenue
paid,결제 완료,true
shipped,배송 중,true
cancelled,취소,false

상태 코드의 한국어 이름과 매출 포함 여부처럼, 자주 안 바뀌고 사람이 관리하는 표는 CSV로 저장소에 둡니다. dbt seed(또는 build)가 테이블로 올리고, 모델에서는 ref('status_labels')로 씁니다.

매크로: 같은 계산식을 한곳에

{% macro revenue(qty, price) -%}
    cast({{ qty }} as bigint) * cast({{ price }} as bigint)
{%- endmacro %}
-- 상태별 주문 수와 매출. 상태 이름과 매출 포함 여부는 seed에서 가져온다.
select
    s.status_ko,
    s.counts_as_revenue,
    count(*)                                   as orders,
    sum({{ revenue('o.qty', 'p.price') }})     as gross_amount
from {{ ref('stg_orders') }} o
join {{ ref('stg_products') }} p using (product_id)
join {{ ref('status_labels') }} s using (status)
group by all
order by orders desc
│ status_ko │ counts_as_revenue │ orders │ gross_amount │
│ 결제 완료 │ true              │  19212 │    416539000 │
│ 배송 중   │ true              │   6510 │    141971000 │
│ 취소      │ false             │   6478 │    140896000 │

매출 계산식을 매크로로 두면 정의를 바꿀 때 한 곳만 고칩니다. 13장의 시맨틱 레이어와 같은 생각입니다.

직접 만든 테스트 두 가지

{% test positive(model, column_name) %}
-- 0 이하인 값이 있으면 그 행들을 돌려준다(= 테스트 실패)
select * from {{ model }} where {{ column_name }} <= 0
{% endtest %}

일반(generic) 테스트는 여러 컬럼에 붙여 쓰는 규칙입니다. 위 테스트를 만들면 yml에서 data_tests: [positive]로 씁니다.

-- 두 마트의 매출 합계가 다르면 차이를 한 행으로 돌려준다(= 테스트 실패)
with a as (select sum(revenue) as v from {{ ref('fct_daily_sales') }}),
     b as (select sum(revenue) as v from {{ ref('fct_orders') }} where status <> 'cancelled')
select a.v as daily_sales, b.v as orders_mart, a.v - b.v as diff
from a, b
where a.v <> b.v

단일(singular) 테스트는 SQL 파일 하나가 테스트 하나입니다. 결과가 한 행이라도 나오면 실패입니다. 여기서는 두 마트(fct_daily_sales, fct_orders)의 매출 합계가 같은지 대조합니다. S02장에서 도구끼리 숫자를 대조한 것을 매일 자동으로 하는 셈입니다.

dbt build
 Succeeded seed  analytics.status_labels (table)
    Passed test  positive_fct_orders_revenue
    Passed test  assert_daily_sales_matches_orders
...
Processed: 6 models | 11 tests | 1 snapshot | 1 seed | 1 unit test
Summary: 20 total | 20 success
이것만 기억하세요

작은 기준표는 seed, 반복 계산은 매크로, 업무 규칙은 직접 만든 테스트. 서로 다른 테이블의 합계 대조는 단일 테스트로 매일 돌립니다.

다음
D05. 단위 테스트
이어보기 →