실무 기본 · X03

Git과 CI: 바뀐 모델만 검사하고 배포

공고 27건(29%)이 CI/CD나 Git을 적습니다. 데이터 팀의 CI는 "PR이 올라오면 코드 규칙, 테스트, 바뀐 모델의 빌드를 자동으로 돌리는 것"입니다. 그 안에서 도는 명령을 하나씩 실행해 결과를 확인했습니다.


흐름

1

브랜치: git switch -c fix/stg-orders로 작업 브랜치를 만들고 모델을 고칩니다.

2

PR: 변경을 올리면 CI가 자동으로 돕니다.

3

검사: 파이썬 규칙·테스트(X01), SQL 규칙, 바뀐 모델과 그 뒤만 dbt build.

4

리뷰·병합: 동료가 결과와 코드를 보고 main에 합칩니다. 운영 배포는 main 기준으로.

# .github/workflows/ci.yml — PR마다 바뀐 dbt 모델과 그 뒤만 빌드하고, SQL·파이썬 규칙과 테스트를 검사합니다.
# 이 교안에서는 GitHub에서 돌리지 않았고, 안의 명령을 로컬에서 하나씩 실행해 결과를 확인했습니다.
name: ci
on:
  pull_request:
    paths: ["shop_dbt/**", "python/**"]
jobs:
  check:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
        with: {python-version: "3.13"}
      - run: pip install -r docker/requirements.txt ruff sqlfluff pytest pydantic tenacity
      - name: 파이썬 규칙·테스트
        run: |
          ruff check python/ --select E,F,B,UP --line-length 120
          ruff format --check python/ --line-length 120
          cd python && pytest -q
      - name: SQL 규칙
        run: cd shop_dbt && sqlfluff lint models/
      - name: 운영 manifest 받기 (main 브랜치에서 마지막으로 만든 것)
        run: |
          mkdir -p prod_state
          # 예: 운영 배포 작업이 올려 둔 target/manifest.json을 저장소에서 내려받음
      - name: 바뀐 모델과 그 뒤만 빌드
        run: cd shop_dbt && dbt build -s state:modified+ --state ../prod_state

직접 돌리지 않음: 이 워크플로를 GitHub에서 돌리지는 않았습니다. 실습 컴퓨터에서 git 명령이 동작하지 않아(Xcode 도구 없음) Git 명령의 결과도 싣지 않았습니다. 아래는 워크플로 안의 명령을 로컬에서 직접 실행한 결과입니다.

바뀐 모델과 그 뒤만 빌드

운영에서 마지막으로 만든 manifest.json을 prod_state/에 두고, stg_orders의 status를 lower(trim(status))로 고친 뒤 실행했습니다.

dbt ls -s state:modified+ --state prod_state --resource-type model
shop.marts.fct_daily_sales
shop.marts.fct_orders
shop.marts.fct_status_summary
shop.staging.stg_orders

dbt build -s state:modified+ --state prod_state
Processed: 4 models | 9 tests | 1 unit test
Summary: 14 total | 14 success

전체 20개 노드 중 고친 모델과 그 모델을 쓰는 마트 3개, 관련 테스트까지 14개만 돌았습니다. 고친 내용을 되돌리자 state:modified는 아무것도 고르지 않았습니다. 모델이 수백 개인 팀에서는 이 차이가 CI 시간을 크게 줄입니다.

SQL 규칙 검사(sqlfluff 4.5)

[sqlfluff]
dialect = duckdb
templater = jinja
max_line_length = 120
exclude_rules = LT05

[sqlfluff:templater:jinja]
apply_dbt_builtins = True
import sqlfluff
bad = "select order_id,Status ,QTY*2 as x from stg_orders where status<>'cancelled'"
sqlfluff.lint(bad, dialect="duckdb")
LT01 Unexpected whitespace before comma ','.
CP02 Unquoted identifiers must be consistently lower case.
LT14 The 'where' keyword should always start a new line.
... (모두 8건)

sqlfluff.fix(bad, dialect="duckdb")
select
    order_id,
    status,
    qty * 2 as x
from stg_orders
where status <> 'cancelled'

대소문자, 띄어쓰기, 줄바꿈처럼 리뷰에서 시간을 쓰게 되는 부분을 기계가 맞춥니다. 실습 컴퓨터에서는 sqlfluff 명령줄이 상위 폴더 권한 문제로 멈춰서 파이썬 API로 실행했습니다. 일반 환경에서는 sqlfluff lint models/로 씁니다.

이것만 기억하세요

CI는 "사람이 매번 확인하던 것"을 PR마다 자동으로 돌리는 것입니다. 데이터 팀에서는 state:modified+로 바뀐 모델과 그 뒤만 빌드하는 것이 핵심입니다.

다음
X04. Kafka 시작하기
이어보기 →