확장 · CH10
Spark는 언제 필요한가
채용 공고에는 Spark가 자주 나오지만, 이 교안의 데이터는 노트북 한 대의 DuckDB로 0.1초 안에 집계됐습니다. 한 대로 충분한 경우와 분산 처리가 필요한 경우를 나누고, 2026년 10월 30일에 나온 Spark 4.3의 새 SQL을 직접 실행한 결과를 봅니다.
한 대로 충분한가
| 상황 | 먼저 고를 도구 |
|---|---|
| 수천만 행, 수십 GB 이하, 한 사람이 분석 | DuckDB, Polars (03장처럼 노트북에서 충분) |
| 수백 GB~TB, 매일 대량 변환, 여러 팀이 같은 클러스터 사용 | Spark (Databricks, EMR, Dataproc) |
| 회사가 이미 Databricks를 씀 | 규모와 상관없이 Spark·Databricks SQL |
레딧에서도 "작은 데이터에 Spark 클러스터부터 띄우는 것"을 경계하는 글이 꾸준히 추천을 받습니다. 다만 채용 공고에 자주 나오므로 PySpark DataFrame과 Spark SQL의 기본은 익혀 둡니다.
Spark 4.3에서 직접 실행한 것
Java 21과 pip install pyspark==4.3.0으로 노트북에서 실행했습니다. ASOF JOIN은 "그 시점에 알고 있던 가장 최근 값"을 붙이는 조인으로, 4.3부터 SQL로 쓸 수 있지만 기본값은 꺼져 있습니다.
spark.conf.set("spark.sql.join.asofJoin.enabled", "true") # 켜지 않으면 UNSUPPORTED_FEATURE.ASOF_JOIN 오류
spark.sql("""
SELECT t.sym, t.ts, t.qty, q.price
FROM trades t ASOF JOIN quotes q
MATCH_CONDITION (t.ts >= q.ts)
ON t.sym = q.sym ORDER BY t.ts""").show()
+----+-------------------+---+-----+
|sym |ts |qty|price|
|AAPL|2026-11-02 09:00:05|10 |230.1|
|AAPL|2026-11-02 09:00:12|5 |230.6|
09:00:05 체결에는 직전인 09:00:00 호가가, 09:00:12 체결에는 09:00:10 호가가 붙었습니다. 중첩 JSON을 행으로 펴는 JSON_TABLE도 같은 버전에서 설정 없이 동작했습니다. 업그레이드할 때는 Python 3.10 지원이 빠졌다는 점을 확인합니다.
이것만 기억하세요
데이터가 한 대에 들어가면 DuckDB·Polars로 시작합니다. Spark는 데이터 규모나 회사 환경이 요구할 때 씁니다. 공고 대비로는 DataFrame API와 Spark SQL 기본을 익혀 둡니다.