기초 · CH03
CSV 대신 Parquet으로 저장하는 이유
같은 300만 행 주문 데이터를 CSV와 Parquet으로 저장해 크기와 집계 속도를 재 봤습니다. Parquet은 열 단위로 압축해 저장하는 파일 형식으로, 데이터 레이크와 레이크하우스의 기본 저장 형식입니다.
측정 결과
| CSV | Parquet (zstd 압축) | |
|---|---|---|
| 파일 크기 (300만 행, 6개 컬럼) | 133.4 MB | 31.3 MB |
| DuckDB 2.0 상태별 집계 | 0.088초 | 0.003초 |
| Polars 2.1 상태별 집계 | 0.052초 | 0.009초 |
Apple Silicon 맥북, 같은 쿼리를 세 번 돌린 중 가장 빠른 값입니다. 파일은 약 4분의 1로 줄었고, 집계는 DuckDB 기준 수십 배 빨랐습니다.
왜 이렇게 차이가 나나
열 단위 저장
status와 qty만 쓰는 쿼리는 두 열만 읽습니다. CSV는 한 행 전체를 읽어야 합니다.
타입과 통계
Parquet은 컬럼 타입과 묶음별 최솟값·최댓값을 파일 안에 저장합니다. 조건에 맞지 않는 묶음은 건너뜁니다.
압축
같은 값이 반복되는 열(status 등)은 압축이 잘 됩니다.
직접 재 보는 코드
import duckdb, polars as pl
con = duckdb.connect()
con.sql("COPY (SELECT * FROM read_csv('landing/orders/*.csv')) TO 'orders.parquet' (FORMAT parquet, COMPRESSION zstd)")
# DuckDB: 파일을 테이블처럼 바로 조회
con.sql("SELECT status, count(*), sum(qty) FROM 'orders.parquet' GROUP BY status").show()
# Polars: scan_으로 시작하면 필요한 열만 읽는 지연 실행
pl.scan_parquet("orders.parquet").group_by("status").agg(pl.len(), pl.col("qty").sum()).collect()
💡 CSV는 사람이 열어 보기 좋고 어디서나 읽히므로 외부에서 받는 원본(landing)에는 여전히 많이 씁니다. 받은 뒤 저장·분석용으로는 Parquet으로 바꿉니다.
이것만 기억하세요
저장과 분석은 Parquet, 사람이 주고받는 원본은 CSV. 필요한 열만 읽는 형식이 크기와 속도를 함께 줄입니다.