dbt로 원본을 분석용 테이블로
dbt는 SELECT문 파일들로 변환 단계를 만들고, 순서·테스트·문서를 관리하는 도구입니다. 2026년 9월 Rust로 다시 쓴 dbt 2.0이 정식 출시됐고, 이 장은 dbt 2.0.12로 실행했습니다.
설치와 프로젝트 구조
pip install "dbt==2.0.12" # dbt 2.0. 첫 실행 때 DuckDB 드라이버를 내려받습니다
dbt --version # dbt 2.0.12shop_dbt/
├── dbt_project.yml
├── profiles.yml # 어디에 연결할지 (여기서는 ../warehouse.duckdb)
└── models/
├── staging/ # 원본을 이름·타입만 정리 (view)
│ ├── _sources.yml
│ ├── stg_orders.sql
│ ├── stg_customers.sql
│ └── stg_products.sql
└── marts/ # 분석용 결과 (table)
└── fct_daily_sales.sql
shop:
target: dev
outputs:
dev:
type: duckdb
path: ../warehouse.duckdb
schema: analytics
threads: 4select
order_id,
customer_id,
product_id,
qty,
status,
ordered_at,
cast(ordered_at as date) as order_date,
updated_at
from {{ source('raw', 'orders') }}-- 하루·지역·카테고리별 매출. 취소 주문은 뺀다.
select
o.order_date,
c.region,
p.category,
count(*) as orders,
sum(o.qty * p.price) as revenue
from {{ ref('stg_orders') }} o
join {{ ref('stg_customers') }} c using (customer_id)
join {{ ref('stg_products') }} p using (product_id)
where o.status <> 'cancelled'
group by 1, 2, 3
{{ source() }}는 원본 테이블을, {{ ref() }}는 다른 모델을 가리킵니다. dbt는 이 참조를 읽어 staging을 먼저, marts를 나중에 만듭니다.
실행
cd shop_dbt
dbt build --profiles-dir .
Succeeded model analytics.stg_products (view)
Succeeded model analytics.stg_customers (view)
Succeeded model analytics.stg_orders (view)
Passed test unique_stg_orders_order_id
...
Succeeded model analytics.fct_daily_sales (table)
Summary: 11 total | 11 success
실제로 막혔던 것: DuckDB 파일 버전
처음에는 DuckDB 2.0으로 만든 warehouse.duckdb에 dbt를 붙였더니 Trying to read a database file with version number 999, but we can only read versions between 64 and 68 오류가 났습니다. dbt 2.0.12에 들어 있는 DuckDB 드라이버가 1.5 계열이라, 2.0 형식으로 만든 파일을 읽지 못한 것입니다. DuckDB 공식 안내대로 2.0은 옛 형식 파일을 읽고 쓸 수 있으므로, 파일을 처음 만들 때 1.5 형식으로 만들어 해결했습니다(04장 ingest.py의 storage_compatibility_version).
💡 여러 도구가 같은 DuckDB 파일을 쓰면 "파일을 처음 만든 DuckDB 버전"이 모두가 읽을 수 있는 버전인지 확인합니다. 클라우드 웨어하우스에서는 생기지 않는 문제지만, 로컬 실습에서는 가장 흔한 막힘입니다.
staging은 원본을 정리만, marts는 분석 질문에 답하는 테이블. ref()로 이으면 dbt가 순서를 알아서 정합니다.