변환 · CH08
틀린 데이터는 멈추게 하기
dbt 테스트로 "주문 번호는 유일하다", "상태는 정해진 값만", "고객 번호는 고객 테이블에 있다" 같은 규칙을 적습니다. 일부러 불량 데이터를 넣어 테스트가 실패하면 결과 테이블이 어떻게 보호되는지 확인했습니다.
테스트 정의
models:
- name: stg_orders
columns:
- name: order_id
data_tests: [unique, not_null]
- name: status
data_tests:
- accepted_values:
arguments:
values: ['paid', 'shipped', 'cancelled']
- name: customer_id
data_tests:
- relationships:
arguments:
to: ref('stg_customers')
field: customer_id
- name: stg_customers
columns:
- name: customer_id
data_tests: [unique, not_null]
불량 데이터 3행을 넣어 봤습니다
order_id,customer_id,product_id,qty,status,...
900001,120,5,1,paid,... ← 정상
900002,99999,7,2,paid,... ← 없는 고객 번호
900003,333,9,1,refunded,... ← 정해지지 않은 상태 값 Failed test accepted_values_stg_orders_status__paid__shipped__cancelled
Failed test relationships_stg_orders_customer_id__customer_id__ref_stg_customers_
Skipped model analytics.fct_daily_sales (table)
Test failed (1 failed row(s)): accepted_values_...
Test failed (1 failed row(s)): relationships_...
Summary: 11 total | 7 success | 2 error | 2 skipped
테스트 두 개가 정확히 한 행씩 잡았고, 그 뒤에 있는 fct_daily_sales는 만들어지지 않았습니다(Skipped). 대시보드는 어제 만든 정상 테이블을 그대로 보여 주고, 불량 데이터가 섞인 숫자가 나가지 않습니다. 실패는 다음 장의 Airflow에서 빨간 태스크로 드러납니다.
실행 전에 잡기: dbt 2.0 정적 분석
dbt 2.0은 SQL을 데이터베이스에 보내기 전에 직접 분석합니다. 컬럼 이름 오타(ordred_at)를 넣고 컴파일해 봤습니다.
dbt compile --profiles-dir . # 기본(baseline) 모드: 통과
dbt compile --profiles-dir . --static-analysis strict # strict 모드:
[error] [UnresolvedIdentifier (dbt0227)]: No column ordred_at found.
Available are warehouse.analytics.stg_orders.ordered_at, ...
--> models/marts/typo_example.sql:1:18
기본 모드에서는 그냥 통과했고, --static-analysis strict에서만 잡혔습니다. AI가 쓴 SQL을 받을 때 특히 쓸모가 있습니다.
키 테스트
unique, not_null. 조인 뻥튀기(02장)를 막습니다.
값 테스트
accepted_values. 새 상태 값이 생기면 바로 알 수 있습니다.
관계 테스트
relationships. 사실 테이블의 키가 차원 테이블에 있는지 봅니다.
이것만 기억하세요
규칙을 테스트로 적어 두면, 틀린 데이터가 들어왔을 때 결과 테이블을 만들지 않고 멈춥니다. 멈추는 것이 틀린 숫자를 내보내는 것보다 낫습니다.