PySpark · S01
PySpark 시작하기
PySpark는 Spark를 Python으로 쓰는 방법입니다. 데이터 엔지니어 채용 공고에 가장 자주 나오는 도구 중 하나라, 규모와 상관없이 기본 사용법은 익혀 둡니다. 노트북에서 Spark 4.3.0을 띄우고 01장의 주문 파일을 읽어 봅니다.
설치
Spark는 JVM 위에서 돌아서 Java 17 또는 21이 필요합니다. 교안은 Java 21(Eclipse Temurin)로 확인했습니다. Spark 4.3은 Python 3.10 지원을 뺐습니다.
java -version # 17 또는 21
pip install "pyspark==4.3.0" "pandas<3" pyarrow # pandas 3은 아직 경고가 나옵니다
pandas 3 경고: 실행해 보니 PySpark 4.3.0은 pandas 3.0 이상에서 "아직 완전히 지원하지 않는다"는 경고를 냈습니다.
toPandas()를 쓸 예정이면 pandas 2.x를 씁니다.
세션 만들고 파일 읽기
import time
t0 = time.perf_counter()
from pyspark.sql import SparkSession
spark = (SparkSession.builder.appName("shop").master("local[*]")
.config("spark.sql.session.timeZone", "Asia/Seoul").getOrCreate())
spark.sparkContext.setLogLevel("ERROR")
print(f"Spark {spark.version}, 세션 시작 {time.perf_counter()-t0:.1f}초")
# 1) 스키마 추론
df = spark.read.csv("landing/orders/*.csv", header=True, inferSchema=True)
df.printSchema()
print("행 수:", df.count())
# 2) 스키마를 직접 지정 (실무 권장)
schema = """order_id BIGINT, customer_id BIGINT, product_id BIGINT, qty INT,
status STRING, ordered_at TIMESTAMP, updated_at TIMESTAMP"""
orders = spark.read.csv("landing/orders/*.csv", header=True, schema=schema)
orders.show(3, truncate=False)
print("파티션 수:", orders.rdd.getNumPartitions())
spark.stop()Spark 4.3.0, 세션 시작 19.4초
root
|-- order_id: integer (nullable = true)
...
행 수: 32203
파티션 수: 8
- 세션 시작이 19.4초 걸렸습니다(이 맥에서 처음 실행). JVM을 띄우는 비용이라, 작은 데이터 한 번 조회에는 DuckDB가 훨씬 빠릅니다(10장).
inferSchema=True는 파일을 한 번 더 읽어 타입을 추측합니다. 주문 번호가integer로 잡혔는데, 운영 데이터에서 21억을 넘으면 깨집니다. 실무에서는 스키마를 직접 적습니다.local[*]은 이 컴퓨터의 코어를 모두 쓰라는 뜻입니다. 데이터가 8개 파티션으로 나뉘어 병렬로 처리됐습니다.spark.sql.session.timeZone을 정하지 않으면 컴퓨터 설정을 따릅니다. 서버마다 결과가 달라지지 않게 처음에 정해 둡니다(05장·A03장의 시간대 문제와 같은 이야기).
행 수가 32,203인 이유
01장에서는 32,200행이었는데 3행이 많습니다. 04장에서 넣은 변경 파일(orders_2026-11-08_updates.csv)까지 함께 읽었기 때문입니다. 원본 파일을 그대로 읽으면 같은 주문이 두 번 들어옵니다. 다음 장에서 이 중복을 정리합니다.
이것만 기억하세요
Java를 준비하고, 세션의 시간대를 정하고, 스키마는 직접 적습니다. 원본 파일을 그대로 읽으면 변경분까지 섞인다는 점을 먼저 확인합니다.