확장 · CH11

배치, 스트리밍, CDC

지금까지는 하루에 한 번 모아서 처리하는 배치였습니다. 몇 초 안에 반영돼야 하는 데이터는 스트리밍으로, 운영 DB의 변경을 그대로 따라가야 하면 CDC로 처리합니다. 이 장은 개념과 선택 기준만 다루며, 실습은 하지 않았습니다.


방식지연맞는 경우대표 도구
배치시간~하루일일 매출, 정산, 리포트Airflow + dbt (이 교안)
마이크로배치수십 초~분준실시간 대시보드Spark Structured Streaming
스트리밍밀리초~초이상거래 탐지, 실시간 추천Kafka, Flink, Spark Real-Time Mode
CDC초~분운영 DB 변경을 웨어하우스에 그대로 반영Debezium, Fivetran·Airbyte 같은 수집 도구

CDC는 04장 upsert의 확장입니다

CDC(Change Data Capture)는 운영 DB의 변경 로그를 읽어 "어떤 행이 추가·수정·삭제됐는지"를 이벤트로 받는 방식입니다. 받은 이벤트를 키 기준으로 덮어쓰는 부분은 04장의 ON CONFLICT ... DO UPDATE와 같은 원리입니다. 차이는 삭제도 이벤트로 온다는 점과, 순서가 뒤바뀌어 도착할 수 있어 변경 시각이나 순번으로 최신 여부를 판단해야 한다는 점입니다.

2026년 소식

먼저 배치로 충분한지 묻습니다. 실시간이 필요하다는 요청의 상당수는 "매시간" 또는 "15분마다"로 해결됩니다. 스트리밍은 운영 부담이 크므로, 지연 요구가 분 단위 이하일 때 검토합니다.

이것만 기억하세요

지연 요구가 시간 단위면 배치, 초 단위면 스트리밍, 운영 DB를 그대로 따라가야 하면 CDC. CDC의 핵심은 04장의 "키 기준 최신 값 반영"입니다.

다음
12. 운영·비용·보안
이어보기 →