클라우드 · X10

Docker와 Kubernetes: 어디서나 같게 돌리기

공고 40건(43%)이 Docker나 Kubernetes를 언급합니다. 파이프라인을 컨테이너 이미지로 만들면 내 노트북, CI, 운영 서버에서 같은 버전으로 돕니다. 이 장의 파일은 직접 빌드·실행하지 않았습니다.


직접 돌리지 않음: 실습 컴퓨터에 Docker가 없어 이미지를 빌드하거나 컨테이너를 띄우지 못했습니다. 아래 파일은 YAML 문법만 파이썬으로 확인했습니다. 대신 이 교안의 Kafka(X04)는 공식 바이너리로, Postgres(X02)는 PGlite로 같은 실습을 했습니다.

배치 작업 이미지

# 적재(ingest.py)와 dbt build를 한 번 돌리고 끝나는 배치 작업 이미지.
# 이 교안에서는 직접 빌드하지 않았습니다(실습 환경에 Docker가 없음). 파일 구조와 명령은 공식 문서 기준입니다.
FROM python:3.13-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY ingest.py ./
COPY shop_dbt/ ./shop_dbt/
# 비밀번호·토큰은 이미지에 넣지 않고 실행할 때 환경 변수로 받습니다
ENV DBT_PROFILES_DIR=/app/shop_dbt
CMD ["sh", "-c", "python ingest.py && cd shop_dbt && dbt build"]
duckdb==2.0.1
dbt-core==2.0.12
dbt-duckdb
docker build -t shop-pipeline:1.0.0 .
docker run --rm -v $PWD/landing:/app/landing shop-pipeline:1.0.0

여러 서비스를 한 번에: compose

# Kafka와 Postgres를 컨테이너로 띄우는 설정(직접 실행하지 않음).
# 교안 X04~X06에서는 Docker 없이 Kafka 바이너리와 PGlite로 같은 실습을 했습니다.
services:
  kafka:
    image: apache/kafka:4.4.0
    ports: ["9092:9092"]
  postgres:
    image: postgres:18
    environment:
      POSTGRES_PASSWORD: ${PG_PASSWORD:?PG_PASSWORD 환경 변수를 설정하세요}
    command: ["postgres", "-c", "wal_level=logical"]   # 로그 기반 CDC(Debezium)에 필요
    ports: ["5432:5432"]

Kubernetes에서 매일 실행: CronJob

# 쿠버네티스에서 매일 06:00(한국 시간)에 위 이미지를 한 번 실행하는 CronJob(직접 적용하지 않음).
apiVersion: batch/v1
kind: CronJob
metadata:
  name: shop-pipeline
spec:
  schedule: "0 6 * * *"
  timeZone: "Asia/Seoul"
  concurrencyPolicy: Forbid          # 앞 실행이 안 끝났으면 새로 시작하지 않음
  jobTemplate:
    spec:
      backoffLimit: 2                # 실패하면 두 번까지 다시 시도
      template:
        spec:
          restartPolicy: Never
          containers:
            - name: pipeline
              image: registry.example.com/shop-pipeline:1.0.0
              resources:
                requests: {cpu: "500m", memory: "1Gi"}
                limits: {memory: "2Gi"}
              envFrom:
                - secretRef: {name: shop-pipeline-secrets}
설정뜻
timeZone: "Asia/Seoul"빠뜨리면 클러스터 기준(대개 UTC)으로 돕니다. A03장과 같은 9시간 문제
concurrencyPolicy: Forbid앞 실행이 안 끝났으면 새로 시작하지 않음(같은 날짜 중복 적재 방지)
backoffLimit: 2실패 시 재시도 횟수
resources메모리 한도를 넘으면 컨테이너가 강제 종료됩니다(OOMKilled). Spark·Polars 작업은 넉넉히

Airflow를 쓰는 팀은 Kubernetes CronJob 대신 Airflow의 KubernetesPodOperator로 같은 이미지를 실행하기도 합니다. 어느 쪽이든 "이미지 하나 = 작업 하나"로 만들어 두면 실행 위치를 바꾸기 쉽습니다.

이것만 기억하세요

컨테이너는 버전을 고정해 어디서나 같게 돌리는 방법입니다. 비밀은 이미지 밖에, 태그는 버전으로, CronJob에는 시간대를 적습니다.

다음
X11. 클라우드 웨어하우스 고르기
이어보기 →