실무 기본 · X01

데이터 엔지니어의 파이썬: 재시도·검증·테스트

채용 공고 93건 중 62건(67%)이 Python을 요구합니다. 문법보다 자주 묻는 것은 불안정한 API를 다시 시도하는 법, 들어온 레코드를 검증해 나쁜 행을 격리하는 법, 변환 함수를 테스트하는 법입니다. pydantic 2.14, tenacity 9.2, pytest 9.2, ruff 0.17로 실행했습니다.


한 파일에 담은 네 가지 습관

"""py1. 데이터 엔지니어가 쓰는 파이썬 기본기: 설정은 환경 변수, 기록은 logging,
불안정한 API는 재시도, 들어온 레코드는 스키마로 검증, 변환은 테스트할 수 있는 함수로."""

import logging
import os
import random
from datetime import datetime
from pydantic import BaseModel, ValidationError, field_validator
from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type, before_sleep_log

logging.basicConfig(level=os.getenv("LOG_LEVEL", "INFO"), format="%(asctime)s %(levelname)s %(name)s %(message)s")
log = logging.getLogger("orders")
API_FAIL_RATE = float(os.getenv("API_FAIL_RATE", "0.6"))  # 실습용: 호출의 60%가 일시 오류


class Order(BaseModel):
    order_id: int
    customer_id: int
    qty: int
    status: str
    updated_at: datetime

    @field_validator("qty")
    @classmethod
    def qty_positive(cls, v):
        if v <= 0:
            raise ValueError("qty는 1 이상이어야 합니다")
        return v

    @field_validator("status")
    @classmethod
    def known_status(cls, v):
        if v not in {"paid", "shipped", "cancelled"}:
            raise ValueError(f"알 수 없는 상태 {v}")
        return v


class TemporaryAPIError(Exception): ...


@retry(
    retry=retry_if_exception_type(TemporaryAPIError),
    stop=stop_after_attempt(5),
    wait=wait_exponential(multiplier=0.2, max=2),
    before_sleep=before_sleep_log(log, logging.WARNING),
    reraise=True,
)
def fetch_page(page: int) -> list[dict]:
    if random.random() < API_FAIL_RATE:
        raise TemporaryAPIError(f"page {page}: 503 Service Unavailable")
    return [
        {
            "order_id": page * 10 + i,
            "customer_id": 42,
            "qty": i - 1,
            "status": "paid" if i != 3 else "refund",
            "updated_at": "2026-11-09T10:00:00",
        }
        for i in range(5)
    ]


def validate(rows: list[dict]) -> tuple[list[Order], list[dict]]:
    good, bad = [], []
    for r in rows:
        try:
            good.append(Order(**r))
        except ValidationError as e:
            bad.append({"row": r, "error": e.errors()[0]["msg"]})
    return good, bad


def revenue(orders: list[Order], prices: dict[int, int], product_of: dict[int, int]) -> int:
    """취소 주문을 빼고 수량 × 단가를 더합니다."""
    return sum(o.qty * prices[product_of[o.order_id]] for o in orders if o.status != "cancelled")


if __name__ == "__main__":
    random.seed(7)
    rows = fetch_page(1)
    good, bad = validate(rows)
    log.info("받은 %d건 중 통과 %d건, 격리 %d건", len(rows), len(good), len(bad))
    for b in bad:
        log.warning("격리: order_id=%s 이유=%s", b["row"]["order_id"], b["error"])
습관코드에서이유
설정은 환경 변수os.getenv("LOG_LEVEL")같은 코드를 개발·운영에서 설정만 바꿔 실행. 비밀번호를 코드에 쓰지 않음
print 대신 logginglog.warning(...)시각·수준이 붙어 Airflow 로그에서 찾기 쉬움
일시 오류는 재시도@retry(... wait_exponential)503 같은 일시 오류에만, 간격을 늘려 가며, 횟수 제한을 두고
레코드 검증과 격리Order(BaseModel)나쁜 행 하나 때문에 전체를 멈추지 않고 따로 모아 원인을 봄

실행 결과

WARNING orders Retrying __main__.fetch_page in 0.2 seconds as it raised TemporaryAPIError: page 1: 503 Service Unavailable.
WARNING orders Retrying __main__.fetch_page in 0.4 seconds as it raised TemporaryAPIError: page 1: 503 Service Unavailable.
INFO orders 받은 5건 중 통과 2건, 격리 3건
WARNING orders 격리: order_id=10 이유=Value error, qty는 1 이상이어야 합니다
WARNING orders 격리: order_id=11 이유=Value error, qty는 1 이상이어야 합니다
WARNING orders 격리: order_id=13 이유=Value error, 알 수 없는 상태 refund

두 번 실패한 뒤 세 번째에 성공했고, 기다리는 시간이 0.2초 → 0.4초로 늘었습니다. 받은 5건 중 수량이 0 이하인 2건과 모르는 상태값(refund) 1건이 격리됐습니다. 격리된 행은 버리지 말고 테이블이나 파일로 남겨, 원천 팀에 "이런 값이 왔다"고 알릴 근거로 씁니다.

변환 함수 테스트

from datetime import datetime
from pipeline import Order, revenue, validate


def make(oid, qty, status):
    return Order(order_id=oid, customer_id=1, qty=qty, status=status, updated_at=datetime(2026, 11, 9))


def test_revenue_excludes_cancelled():
    orders = [make(1, 2, "paid"), make(2, 5, "cancelled")]
    assert revenue(orders, prices={100: 1500}, product_of={1: 100, 2: 100}) == 3000


def test_validate_quarantines_bad_rows():
    good, bad = validate(
        [
            {"order_id": 1, "customer_id": 1, "qty": 0, "status": "paid", "updated_at": "2026-11-09"},
            {"order_id": 2, "customer_id": 1, "qty": 1, "status": "paid", "updated_at": "2026-11-09"},
        ]
    )
    assert [o.order_id for o in good] == [2]
    assert "1 이상" in bad[0]["error"]
pytest -q
2 passed in 0.06s

# revenue()에서 취소 제외 조건을 지우고 다시 돌리면
>       assert revenue(orders, prices={100: 1500}, product_of={1: 100, 2: 100}) == 3000
E       AssertionError: assert 10500 == 3000
1 failed, 1 passed in 0.08s

D05의 dbt 단위 테스트와 같은 생각입니다. 파이썬 쪽 변환도 작은 입력과 기대값으로 고정해 두면, 코드를 고친 사람(또는 AI)이 의도를 바꿨는지 바로 드러납니다.

코드 규칙 검사

처음 쓴 pipeline.py에 ruff check --select E,F,B,UP를 돌리자 16건이 나왔습니다. 한 줄이 너무 긴 곳 10건, 한 줄에 문장 두 개를 쓴 곳 5건, import를 한 줄에 몰아 쓴 곳 1건입니다. ruff format으로 고친 뒤 All checks passed!가 나왔고 테스트도 그대로 통과했습니다. 이 검사는 X03의 CI에서 매번 자동으로 돌립니다.

이것만 기억하세요

설정은 환경 변수, 기록은 logging, 일시 오류만 재시도, 나쁜 행은 격리, 변환은 테스트. 공고의 "Python 능숙"은 대부분 이 다섯 가지를 뜻합니다.

다음
X02. 운영 DB(Postgres) 다루기
이어보기 →