스트리밍 · X05
스트림 처리: 시간 창과 늦게 온 이벤트
"10분마다 주문 수"를 실시간으로 내려면, 이벤트가 발생한 시각 기준으로 창(window)을 나누고 언제 그 창을 확정할지 정해야 합니다. 늦게 도착한 이벤트 3건을 일부러 섞어, 허용 지연을 0분과 40분으로 두고 결과를 비교했습니다.
두 가지 시각
| 시각 | 뜻 | 예 |
|---|---|---|
| 발생 시각(event time) | 주문이 실제로 일어난 시각 | ordered_at 09:01 |
| 처리 시각(processing time) | 파이프라인이 그 이벤트를 받은 시각 | 모바일 앱이 오프라인이었다가 09:45에 전송 |
처리 시각으로 세면 계산은 쉽지만, 늦게 온 주문이 엉뚱한 창에 들어갑니다. 그래서 보통 발생 시각으로 창을 나누고, 워터마크(지금까지 본 가장 늦은 발생 시각 - 허용 지연)가 창 끝을 지나면 그 창을 확정합니다.
# K3. 11/1 09:00~10:00 주문을 '발생 시각' 순서로 보내되, 3건은 30분 늦게 도착시킵니다.
import csv, json
from confluent_kafka import Producer
rows = [r for r in csv.DictReader(open("../landing/orders/orders_2026-11-01.csv", encoding="utf-8"))
if "2026-11-01 09:00:00" <= r["ordered_at"] < "2026-11-01 10:00:00"]
rows.sort(key=lambda r: r["ordered_at"])
late = [r for r in rows if r["ordered_at"] < "2026-11-01 09:10:00"][:3] # 09:0x 주문 3건
stream = [r for r in rows if r not in late]
cut = next(i for i, r in enumerate(stream) if r["ordered_at"] >= "2026-11-01 09:40:00")
stream = stream[:cut] + late + stream[cut:] # 09:40 이후에 끼워 넣음
p = Producer({"bootstrap.servers": "localhost:9092"})
for r in stream:
p.produce("order_events", key=r["order_id"], value=json.dumps({"order_id": r["order_id"], "qty": int(r["qty"]), "event_time": r["ordered_at"]}))
p.flush()
print(f"보낸 이벤트 {len(stream)}건, 늦게 도착시킨 주문 {[r['order_id'] + ' ' + r['ordered_at'][11:] for r in late]}")# K4. 10분 단위 창(tumbling window)으로 주문 수량을 집계합니다.
# 워터마크 = 지금까지 본 가장 늦은 발생 시각 - 허용 지연. 창 끝이 워터마크보다 과거면 결과를 확정합니다.
import json, sys, duckdb
from datetime import datetime, timedelta
from confluent_kafka import Consumer
lateness = timedelta(minutes=int(sys.argv[1]))
W = timedelta(minutes=10)
c = Consumer({"bootstrap.servers": "localhost:9092", "group.id": f"window-{sys.argv[1]}", "auto.offset.reset": "earliest"})
c.subscribe(["order_events"])
open_windows, closed, late_rows, max_t, idle = {}, {}, [], None, 0
def win_start(t): return t.replace(minute=t.minute // 10 * 10, second=0)
while idle < 10:
m = c.poll(1.0)
if m is None: idle += 1; continue
idle = 0
e = json.loads(m.value()); t = datetime.fromisoformat(e["event_time"]); ws = win_start(t)
max_t = max(max_t or t, t); watermark = max_t - lateness
if ws in closed: # 이미 확정한 창에 온 이벤트 = 너무 늦음
late_rows.append((e["order_id"], e["event_time"])); continue
agg = open_windows.setdefault(ws, [0, 0]); agg[0] += 1; agg[1] += e["qty"]
for s in [s for s in open_windows if s + W <= watermark]: # 워터마크를 지난 창 확정
closed[s] = open_windows.pop(s)
closed.update(open_windows) # 스트림 끝: 남은 창도 확정
c.close()
db = duckdb.connect("stream.duckdb")
db.execute("CREATE OR REPLACE TABLE win_%s AS SELECT * FROM (VALUES %s) t(window_start, orders, qty)" % (sys.argv[1],
",".join(f"(TIMESTAMP '{s}', {a[0]}, {a[1]})" for s, a in sorted(closed.items()))))
print(f"허용 지연 {sys.argv[1]}분")
for s, a in sorted(closed.items()): print(f" {s:%H:%M}~ 주문 {a[0]:3d}건 수량 {a[1]:3d}")
print(f" 버린 늦은 이벤트 {len(late_rows)}건 {late_rows}")보낸 이벤트 151건, 늦게 도착시킨 주문 ['100152 09:01:04', '101110 09:01:21', '102413 09:02:10']
허용 지연 0분
09:00~ 주문 17건 수량 33
09:10~ 주문 21건 수량 45
...
버린 늦은 이벤트 3건
허용 지연 40분
09:00~ 주문 20건 수량 39
09:10~ 주문 21건 수량 45
...
버린 늦은 이벤트 0건
정답(원본 CSV): 09:00 20건, 09:10 21건, 09:20 22건, 09:30 25건, 09:40 30건, 09:50 33건
허용 지연이 0분이면 09:00 창을 일찍 확정해 버려 늦게 온 3건을 버렸고, 결과(17건)가 정답(20건)과 달랐습니다. 40분을 허용하니 정답과 같아졌습니다. 대신 09:00 창 결과는 09:50 이후 이벤트를 볼 때까지 확정되지 않습니다. 정확도와 지연 시간을 맞바꾸는 설정이고, 원천 시스템이 얼마나 늦게 보내는지를 보고 정합니다. 버린 이벤트는 따로 모아 배치로 다시 보정하는 경우가 많습니다.
실무 도구: 이 실습은 원리를 보려고 파이썬으로 직접 짰습니다. 실무에서는 Apache Flink, Spark Structured Streaming, Kafka Streams가 창·워터마크·상태 저장·장애 복구를 대신 해 줍니다. 공고에서는 Flink와 Kinesis가 함께 언급됩니다. 이 도구들은 직접 돌리지 않았습니다.
이것만 기억하세요
스트림 집계는 발생 시각으로 창을 나누고, 워터마크로 언제 확정할지 정합니다. 허용 지연을 늘리면 정확해지고 늦어집니다.