클라우드 · X10
Docker와 Kubernetes: 어디서나 같게 돌리기
공고 40건(43%)이 Docker나 Kubernetes를 언급합니다. 파이프라인을 컨테이너 이미지로 만들면 내 노트북, CI, 운영 서버에서 같은 버전으로 돕니다. 이 장의 파일은 직접 빌드·실행하지 않았습니다.
직접 돌리지 않음: 실습 컴퓨터에 Docker가 없어 이미지를 빌드하거나 컨테이너를 띄우지 못했습니다. 아래 파일은 YAML 문법만 파이썬으로 확인했습니다. 대신 이 교안의 Kafka(X04)는 공식 바이너리로, Postgres(X02)는 PGlite로 같은 실습을 했습니다.
배치 작업 이미지
# 적재(ingest.py)와 dbt build를 한 번 돌리고 끝나는 배치 작업 이미지.
# 이 교안에서는 직접 빌드하지 않았습니다(실습 환경에 Docker가 없음). 파일 구조와 명령은 공식 문서 기준입니다.
FROM python:3.13-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY ingest.py ./
COPY shop_dbt/ ./shop_dbt/
# 비밀번호·토큰은 이미지에 넣지 않고 실행할 때 환경 변수로 받습니다
ENV DBT_PROFILES_DIR=/app/shop_dbt
CMD ["sh", "-c", "python ingest.py && cd shop_dbt && dbt build"]duckdb==2.0.1
dbt-core==2.0.12
dbt-duckdbdocker build -t shop-pipeline:1.0.0 .
docker run --rm -v $PWD/landing:/app/landing shop-pipeline:1.0.0
- 버전을 고정합니다(
duckdb==2.0.1). "내 컴퓨터에선 됐는데"의 대부분이 버전 차이입니다. 이 교안에서도 dbt 2.0.12가 DuckDB 1.5를 쓰고 있어 2.0 파일을 못 여는 일을 겪었습니다(09장). - 비밀번호·토큰은 이미지에 넣지 않고 실행할 때 환경 변수나 시크릿으로 받습니다.
- 이미지 태그는
latest대신 버전으로 붙여, 어느 버전이 돌았는지 기록에 남깁니다.
여러 서비스를 한 번에: compose
# Kafka와 Postgres를 컨테이너로 띄우는 설정(직접 실행하지 않음).
# 교안 X04~X06에서는 Docker 없이 Kafka 바이너리와 PGlite로 같은 실습을 했습니다.
services:
kafka:
image: apache/kafka:4.4.0
ports: ["9092:9092"]
postgres:
image: postgres:18
environment:
POSTGRES_PASSWORD: ${PG_PASSWORD:?PG_PASSWORD 환경 변수를 설정하세요}
command: ["postgres", "-c", "wal_level=logical"] # 로그 기반 CDC(Debezium)에 필요
ports: ["5432:5432"]
Kubernetes에서 매일 실행: CronJob
# 쿠버네티스에서 매일 06:00(한국 시간)에 위 이미지를 한 번 실행하는 CronJob(직접 적용하지 않음).
apiVersion: batch/v1
kind: CronJob
metadata:
name: shop-pipeline
spec:
schedule: "0 6 * * *"
timeZone: "Asia/Seoul"
concurrencyPolicy: Forbid # 앞 실행이 안 끝났으면 새로 시작하지 않음
jobTemplate:
spec:
backoffLimit: 2 # 실패하면 두 번까지 다시 시도
template:
spec:
restartPolicy: Never
containers:
- name: pipeline
image: registry.example.com/shop-pipeline:1.0.0
resources:
requests: {cpu: "500m", memory: "1Gi"}
limits: {memory: "2Gi"}
envFrom:
- secretRef: {name: shop-pipeline-secrets}| 설정 | 뜻 |
|---|---|
timeZone: "Asia/Seoul" | 빠뜨리면 클러스터 기준(대개 UTC)으로 돕니다. A03장과 같은 9시간 문제 |
concurrencyPolicy: Forbid | 앞 실행이 안 끝났으면 새로 시작하지 않음(같은 날짜 중복 적재 방지) |
backoffLimit: 2 | 실패 시 재시도 횟수 |
resources | 메모리 한도를 넘으면 컨테이너가 강제 종료됩니다(OOMKilled). Spark·Polars 작업은 넉넉히 |
Airflow를 쓰는 팀은 Kubernetes CronJob 대신 Airflow의 KubernetesPodOperator로 같은 이미지를 실행하기도 합니다. 어느 쪽이든 "이미지 하나 = 작업 하나"로 만들어 두면 실행 위치를 바꾸기 쉽습니다.
이것만 기억하세요
컨테이너는 버전을 고정해 어디서나 같게 돌리는 방법입니다. 비밀은 이미지 밖에, 태그는 버전으로, CronJob에는 시간대를 적습니다.