클라우드 · X08

클라우드 데이터 스택과 S3 레이크

공고 52건(56%)이 클라우드를, 46건(49%)이 AWS를 직접 언급합니다. GCP는 16건, Azure는 10건입니다. 세 클라우드의 서비스 이름을 한 표로 맞춰 보고, S3에 날짜별 폴더로 데이터를 올려 DuckDB가 필요한 파티션만 읽는지 확인했습니다.


같은 역할, 다른 이름

역할AWSGCPAzure이 교안에서 쓴 것
객체 저장소(레이크)S3Cloud StorageBlob Storage / ADLS Gen2로컬 폴더, moto S3
웨어하우스RedshiftBigQuerySynapse / FabricDuckDB
배치 처리(Spark 등)EMR, GlueDataproc, DataflowDatabricks, SynapsePySpark 로컬
스트리밍Kinesis, MSK(Kafka)Pub/SubEvent HubsKafka 4.4
오케스트레이션MWAA(Airflow)Cloud Composer(Airflow)Data FactoryAirflow 3.4
카탈로그Glue Data CatalogDataplexPurviewdbt docs, Iceberg SQLite 카탈로그
권한IAMIAMEntra ID + RBACPostgres 역할·RLS

클라우드가 달라도 하는 일은 같습니다. 공고에 "AWS 경험"이라고 적혀 있으면 대개 S3에 레이크를 두고, IAM으로 권한을 나누고, 그 위에서 Spark나 웨어하우스로 처리해 본 경험을 묻습니다.

S3에 레이크 만들기

# C1. S3에 데이터 레이크 폴더 구조로 올리고, DuckDB가 S3에서 바로 읽게 합니다.
# 실제 AWS 대신 로컬 S3 흉내 서버(moto, http://localhost:5055)를 씁니다. 코드는 실제 S3와 같고 endpoint만 다릅니다.
import glob, os, re, boto3, duckdb
ENDPOINT = "http://localhost:5055"
s3 = boto3.client("s3", endpoint_url=ENDPOINT, region_name="ap-northeast-2",
                  aws_access_key_id="test", aws_secret_access_key="test")
s3.create_bucket(Bucket="shop-lake", CreateBucketConfiguration={"LocationConstraint": "ap-northeast-2"})
con = duckdb.connect()
for f in sorted(glob.glob("../landing/orders/orders_2026-11-0[1-7].csv")):
    d = f[-14:-4]
    con.sql(f"COPY (SELECT * FROM read_csv('{f}')) TO 'tmp_{d}.parquet' (FORMAT parquet)")
    s3.upload_file(f"tmp_{d}.parquet", "shop-lake", f"raw/orders/dt={d}/part-0.parquet")
    os.remove(f"tmp_{d}.parquet")
keys = [o["Key"] for o in s3.list_objects_v2(Bucket="shop-lake", Prefix="raw/orders/")["Contents"]]
print(f"올린 객체 {len(keys)}개, 예: {keys[0]}")
con.sql(f"""CREATE SECRET s3_local (TYPE s3, KEY_ID 'test', SECRET 'test', REGION 'ap-northeast-2',
            ENDPOINT 'localhost:5055', URL_STYLE 'path', USE_SSL false)""")
print(con.sql("""SELECT dt, count(*) AS orders FROM read_parquet('s3://shop-lake/raw/orders/*/*.parquet', hive_partitioning = true)
                 WHERE dt >= '2026-11-06' GROUP BY dt ORDER BY dt""").fetchall())
plan = con.sql("""EXPLAIN ANALYZE SELECT count(*) FROM read_parquet('s3://shop-lake/raw/orders/*/*.parquet', hive_partitioning = true)
                 WHERE dt = '2026-11-07'""").fetchall()[0][1]
print("dt = '2026-11-07' 조건일 때 읽은 파일 수:", re.search(r"Total Files Read: *(\d+)", plan).group(1), "/ 전체 7개")
python -m moto.server -p 5055        # 다른 터미널에서
python c1_s3_lake.py
올린 객체 7개, 예: raw/orders/dt=2026-11-01/part-0.parquet
[(datetime.date(2026, 11, 6), 4900), (datetime.date(2026, 11, 7), 5050)]
dt = '2026-11-07' 조건일 때 읽은 파일 수: 1 / 전체 7개

dt=2026-11-07처럼 "열이름=값" 폴더로 나누면(하이브 파티셔닝) DuckDB·Spark·Athena가 폴더 이름을 열로 읽고, 조건에 맞는 폴더만 엽니다. 7개 중 1개만 읽었습니다. 클라우드에서는 읽은 양이 곧 비용이라 이 차이가 그대로 돈이 됩니다(X11).

로컬 흉내 서버: AWS 계정 없이 하려고 S3 API를 흉내 내는 moto 5.2.5를 썼습니다. 코드는 실제 S3와 같고 endpoint_url만 다릅니다. 실제 AWS에서는 접근 키를 코드에 쓰지 않고 IAM 역할이나 aws configure의 프로필을 씁니다. 실제 S3에서는 돌리지 않았습니다.

이것만 기억하세요

세 클라우드는 이름만 다르고 역할은 같습니다. 레이크는 날짜 폴더로 나눠 필요한 파티션만 읽게 합니다.

다음
X09. Terraform으로 인프라를 코드로
이어보기 →