기초 · CH03

CSV 대신 Parquet으로 저장하는 이유

같은 300만 행 주문 데이터를 CSV와 Parquet으로 저장해 크기와 집계 속도를 재 봤습니다. Parquet은 열 단위로 압축해 저장하는 파일 형식으로, 데이터 레이크와 레이크하우스의 기본 저장 형식입니다.


측정 결과

CSVParquet (zstd 압축)
파일 크기 (300만 행, 6개 컬럼)133.4 MB31.3 MB
DuckDB 2.0 상태별 집계0.088초0.003초
Polars 2.1 상태별 집계0.052초0.009초

Apple Silicon 맥북, 같은 쿼리를 세 번 돌린 중 가장 빠른 값입니다. 파일은 약 4분의 1로 줄었고, 집계는 DuckDB 기준 수십 배 빨랐습니다.

왜 이렇게 차이가 나나

열 단위 저장

status와 qty만 쓰는 쿼리는 두 열만 읽습니다. CSV는 한 행 전체를 읽어야 합니다.

타입과 통계

Parquet은 컬럼 타입과 묶음별 최솟값·최댓값을 파일 안에 저장합니다. 조건에 맞지 않는 묶음은 건너뜁니다.

압축

같은 값이 반복되는 열(status 등)은 압축이 잘 됩니다.

직접 재 보는 코드

import duckdb, polars as pl
con = duckdb.connect()
con.sql("COPY (SELECT * FROM read_csv('landing/orders/*.csv')) TO 'orders.parquet' (FORMAT parquet, COMPRESSION zstd)")

# DuckDB: 파일을 테이블처럼 바로 조회
con.sql("SELECT status, count(*), sum(qty) FROM 'orders.parquet' GROUP BY status").show()

# Polars: scan_으로 시작하면 필요한 열만 읽는 지연 실행
pl.scan_parquet("orders.parquet").group_by("status").agg(pl.len(), pl.col("qty").sum()).collect()

💡 CSV는 사람이 열어 보기 좋고 어디서나 읽히므로 외부에서 받는 원본(landing)에는 여전히 많이 씁니다. 받은 뒤 저장·분석용으로는 Parquet으로 바꿉니다.

이것만 기억하세요

저장과 분석은 Parquet, 사람이 주고받는 원본은 CSV. 필요한 열만 읽는 형식이 크기와 속도를 함께 줄입니다.

다음
04. 증분 적재와 멱등성
이어보기 →