CDC: 운영 DB의 삭제까지 따라가기
CDC(Change Data Capture)는 운영 DB에서 일어난 INSERT·UPDATE·DELETE를 순서대로 가져와 분석 쪽에 그대로 반영하는 방법입니다. 공고 15건(16%)이 직접 언급하고, Kafka·실시간 요구와 자주 같이 나옵니다. 04장의 updated_at 기준 증분과 비교했습니다.
트리거로 변경 기록 남기기
// P3. 트리거 방식 CDC: orders에 생기는 INSERT·UPDATE·DELETE를 변경 테이블에 순서대로 남깁니다.
import { PGlite } from '@electric-sql/pglite'
const db = new PGlite('./pgdata')
await db.exec(`
DROP TABLE IF EXISTS orders_changes;
CREATE TABLE orders_changes (change_id bigserial PRIMARY KEY, op char(1), order_id int, row_data jsonb, changed_at timestamptz DEFAULT clock_timestamp());
CREATE OR REPLACE FUNCTION capture_orders() RETURNS trigger AS $$
BEGIN
IF TG_OP = 'DELETE' THEN
INSERT INTO orders_changes (op, order_id, row_data) VALUES ('D', OLD.order_id, to_jsonb(OLD));
ELSE
INSERT INTO orders_changes (op, order_id, row_data) VALUES (left(TG_OP, 1), NEW.order_id, to_jsonb(NEW));
END IF;
RETURN NULL;
END $$ LANGUAGE plpgsql;
DROP TRIGGER IF EXISTS trg_capture ON orders;
CREATE TRIGGER trg_capture AFTER INSERT OR UPDATE OR DELETE ON orders FOR EACH ROW EXECUTE FUNCTION capture_orders();`)
console.log('CDC 트리거 설치 완료')
await db.close()// P4. 운영 서비스가 하는 일을 흉내 냅니다: 새 주문 2건, 상태 변경 2건, 주문 삭제 1건.
import { PGlite } from '@electric-sql/pglite'
const db = new PGlite('./pgdata')
await db.exec(`
INSERT INTO orders VALUES (900001, 42, 7, 2, 'paid', '2026-11-09 10:00', '2026-11-09 10:00'),
(900002, 43, 8, 1, 'paid', '2026-11-09 10:05', '2026-11-09 10:05');
UPDATE orders SET status = 'shipped', updated_at = '2026-11-09 11:00' WHERE order_id IN (100010, 900001);
DELETE FROM orders WHERE order_id = 100020; -- 고객 요청으로 주문 기록 삭제`)
console.log((await db.query('SELECT change_id, op, order_id, row_data->>\'status\' AS status FROM orders_changes ORDER BY change_id')).rows)
await db.close()[ { change_id: 1, op: 'I', order_id: 900001, status: 'paid' },
{ change_id: 2, op: 'I', order_id: 900002, status: 'paid' },
{ change_id: 3, op: 'U', order_id: 100010, status: 'shipped' },
{ change_id: 4, op: 'U', order_id: 900001, status: 'shipped' },
{ change_id: 5, op: 'D', order_id: 100020, status: 'cancelled' } ]
변경을 내보내고 반영하기
// P5. 마지막으로 가져간 change_id 이후의 변경만 JSON Lines 파일로 내보냅니다(Kafka로 보내기 전 단계).
import { PGlite } from '@electric-sql/pglite'
import fs from 'node:fs'
const last = fs.existsSync('cdc_offset.txt') ? Number(fs.readFileSync('cdc_offset.txt', 'utf8')) : 0
const db = new PGlite('./pgdata')
const rows = (await db.query('SELECT change_id, op, order_id, row_data FROM orders_changes WHERE change_id > $1 ORDER BY change_id', [last])).rows
fs.writeFileSync('cdc_changes.jsonl', rows.map(r => JSON.stringify(r)).join('\n') + (rows.length ? '\n' : ''))
if (rows.length) fs.writeFileSync('cdc_offset.txt', String(rows.at(-1).change_id))
console.log(`내보낸 변경 ${rows.length}건 (change_id ${last} 이후)`)
await db.close()# P6. CDC 변경을 Kafka 토픽에 싣고, 같은 변경을 DuckDB 복제 테이블에 반영합니다.
# 비교용으로 04장의 'updated_at 기준 증분' 방식도 같이 돌립니다.
import json, duckdb
from confluent_kafka import Producer
changes = [json.loads(l) for l in open("cdc_changes.jsonl", encoding="utf-8")]
p = Producer({"bootstrap.servers": "localhost:9092"})
for c in changes:
p.produce("cdc.orders", key=str(c["order_id"]), value=json.dumps(c, ensure_ascii=False))
p.flush()
db = duckdb.connect("cdc_mirror.duckdb")
# 두 복제본 모두 11/1~11/8 원본(32,200건)에서 시작합니다
for t in ["mirror_cdc", "mirror_ts"]:
db.execute(f"CREATE OR REPLACE TABLE {t} AS SELECT * FROM read_csv('../landing/orders/orders_2026-11-0[1-7].csv')")
for c in changes:
r = c["row_data"]
if c["op"] == "D":
db.execute("DELETE FROM mirror_cdc WHERE order_id = ?", [c["order_id"]])
else:
db.execute("DELETE FROM mirror_cdc WHERE order_id = ?", [c["order_id"]])
db.execute("INSERT INTO mirror_cdc VALUES (?,?,?,?,?,?,?)", [r["order_id"], r["customer_id"], r["product_id"], r["qty"], r["status"], r["ordered_at"], r["updated_at"]])
# updated_at 기준 증분: 원본에서 지금 남아 있는 행 중 updated_at이 최신보다 큰 것만 가져옴 → 삭제는 원본에 없으니 못 봄
latest = [c["row_data"] for c in changes if c["op"] != "D"]
for r in latest:
db.execute("DELETE FROM mirror_ts WHERE order_id = ?", [r["order_id"]])
db.execute("INSERT INTO mirror_ts VALUES (?,?,?,?,?,?,?)", [r["order_id"], r["customer_id"], r["product_id"], r["qty"], r["status"], r["ordered_at"], r["updated_at"]])
for t in ["mirror_cdc", "mirror_ts"]:
n, has20 = db.execute(f"SELECT count(*), count(*) FILTER (WHERE order_id = 100020) FROM {t}").fetchone()
print(f"{t}: {n}행, 삭제된 주문 100020 남아 있음? {'예' if has20 else '아니오'}")
print(f"Kafka 토픽 cdc.orders로 보낸 변경 {len(changes)}건")node p5_export_changes.mjs
내보낸 변경 5건 (change_id 0 이후)
python p6_apply_duckdb.py
mirror_cdc: 32201행, 삭제된 주문 100020 남아 있음? 아니오
mirror_ts: 32202행, 삭제된 주문 100020 남아 있음? 예
Kafka 토픽 cdc.orders로 보낸 변경 5건
CDC로 반영한 복제본은 새 주문 2건이 늘고 삭제 1건이 빠져 32,201행으로 원본과 같습니다. updated_at 기준 증분은 32,202행이고 지운 주문이 그대로 남았습니다. 지워진 행은 원본 테이블에 더 이상 없어서 "updated_at이 최근인 행"으로는 찾을 수 없기 때문입니다. 개인정보 삭제 요청을 분석 테이블까지 반영해야 하는 회사에서 CDC가 필요한 이유입니다.
| 방식 | 삭제 반영 | 원본 부담 | 이 교안 |
|---|---|---|---|
| updated_at 기준 증분(04장) | 못 함 | 조회 쿼리 | 실행함 |
| 트리거로 변경 테이블에 기록(이 장) | 함 | 쓰기마다 트리거 실행 | 실행함 |
| DB 로그(WAL·binlog)를 읽는 로그 기반 CDC, Debezium | 함 | 가장 적음 | 직접 돌리지 않음 |
직접 돌리지 않음: 실무에서 가장 많이 쓰는 로그 기반 CDC(Postgres 논리 복제 + Debezium + Kafka Connect)는 실행하지 못했습니다. Postgres 서버가 실습 컴퓨터에서 뜨지 않았고, PGlite에서는
wal_level = logical로 바꾸고 복제 슬롯까지 만들었지만 변경이 0건으로 읽혔습니다. Debezium을 쓰려면 X10의compose.yaml처럼wal_level=logical로 Postgres를 띄우고 Kafka Connect에 Debezium Postgres 커넥터를 등록합니다.
updated_at 증분은 삭제를 못 봅니다. 삭제까지 따라가야 하면 CDC를 쓰고, 운영 DB 부담이 가장 적은 것은 로그 기반 CDC입니다.