클라우드 · X08
클라우드 데이터 스택과 S3 레이크
공고 52건(56%)이 클라우드를, 46건(49%)이 AWS를 직접 언급합니다. GCP는 16건, Azure는 10건입니다. 세 클라우드의 서비스 이름을 한 표로 맞춰 보고, S3에 날짜별 폴더로 데이터를 올려 DuckDB가 필요한 파티션만 읽는지 확인했습니다.
같은 역할, 다른 이름
| 역할 | AWS | GCP | Azure | 이 교안에서 쓴 것 |
|---|---|---|---|---|
| 객체 저장소(레이크) | S3 | Cloud Storage | Blob Storage / ADLS Gen2 | 로컬 폴더, moto S3 |
| 웨어하우스 | Redshift | BigQuery | Synapse / Fabric | DuckDB |
| 배치 처리(Spark 등) | EMR, Glue | Dataproc, Dataflow | Databricks, Synapse | PySpark 로컬 |
| 스트리밍 | Kinesis, MSK(Kafka) | Pub/Sub | Event Hubs | Kafka 4.4 |
| 오케스트레이션 | MWAA(Airflow) | Cloud Composer(Airflow) | Data Factory | Airflow 3.4 |
| 카탈로그 | Glue Data Catalog | Dataplex | Purview | dbt docs, Iceberg SQLite 카탈로그 |
| 권한 | IAM | IAM | Entra ID + RBAC | Postgres 역할·RLS |
클라우드가 달라도 하는 일은 같습니다. 공고에 "AWS 경험"이라고 적혀 있으면 대개 S3에 레이크를 두고, IAM으로 권한을 나누고, 그 위에서 Spark나 웨어하우스로 처리해 본 경험을 묻습니다.
S3에 레이크 만들기
# C1. S3에 데이터 레이크 폴더 구조로 올리고, DuckDB가 S3에서 바로 읽게 합니다.
# 실제 AWS 대신 로컬 S3 흉내 서버(moto, http://localhost:5055)를 씁니다. 코드는 실제 S3와 같고 endpoint만 다릅니다.
import glob, os, re, boto3, duckdb
ENDPOINT = "http://localhost:5055"
s3 = boto3.client("s3", endpoint_url=ENDPOINT, region_name="ap-northeast-2",
aws_access_key_id="test", aws_secret_access_key="test")
s3.create_bucket(Bucket="shop-lake", CreateBucketConfiguration={"LocationConstraint": "ap-northeast-2"})
con = duckdb.connect()
for f in sorted(glob.glob("../landing/orders/orders_2026-11-0[1-7].csv")):
d = f[-14:-4]
con.sql(f"COPY (SELECT * FROM read_csv('{f}')) TO 'tmp_{d}.parquet' (FORMAT parquet)")
s3.upload_file(f"tmp_{d}.parquet", "shop-lake", f"raw/orders/dt={d}/part-0.parquet")
os.remove(f"tmp_{d}.parquet")
keys = [o["Key"] for o in s3.list_objects_v2(Bucket="shop-lake", Prefix="raw/orders/")["Contents"]]
print(f"올린 객체 {len(keys)}개, 예: {keys[0]}")
con.sql(f"""CREATE SECRET s3_local (TYPE s3, KEY_ID 'test', SECRET 'test', REGION 'ap-northeast-2',
ENDPOINT 'localhost:5055', URL_STYLE 'path', USE_SSL false)""")
print(con.sql("""SELECT dt, count(*) AS orders FROM read_parquet('s3://shop-lake/raw/orders/*/*.parquet', hive_partitioning = true)
WHERE dt >= '2026-11-06' GROUP BY dt ORDER BY dt""").fetchall())
plan = con.sql("""EXPLAIN ANALYZE SELECT count(*) FROM read_parquet('s3://shop-lake/raw/orders/*/*.parquet', hive_partitioning = true)
WHERE dt = '2026-11-07'""").fetchall()[0][1]
print("dt = '2026-11-07' 조건일 때 읽은 파일 수:", re.search(r"Total Files Read: *(\d+)", plan).group(1), "/ 전체 7개")python -m moto.server -p 5055 # 다른 터미널에서
python c1_s3_lake.py
올린 객체 7개, 예: raw/orders/dt=2026-11-01/part-0.parquet
[(datetime.date(2026, 11, 6), 4900), (datetime.date(2026, 11, 7), 5050)]
dt = '2026-11-07' 조건일 때 읽은 파일 수: 1 / 전체 7개
dt=2026-11-07처럼 "열이름=값" 폴더로 나누면(하이브 파티셔닝) DuckDB·Spark·Athena가 폴더 이름을 열로 읽고, 조건에 맞는 폴더만 엽니다. 7개 중 1개만 읽었습니다. 클라우드에서는 읽은 양이 곧 비용이라 이 차이가 그대로 돈이 됩니다(X11).
로컬 흉내 서버: AWS 계정 없이 하려고 S3 API를 흉내 내는 moto 5.2.5를 썼습니다. 코드는 실제 S3와 같고
endpoint_url만 다릅니다. 실제 AWS에서는 접근 키를 코드에 쓰지 않고 IAM 역할이나aws configure의 프로필을 씁니다. 실제 S3에서는 돌리지 않았습니다.
이것만 기억하세요
세 클라우드는 이름만 다르고 역할은 같습니다. 레이크는 날짜 폴더로 나눠 필요한 파티션만 읽게 합니다.