강의 소개

데이터 엔지니어링 실전 입문

데이터를 모으고(수집), 쌓고(저장), 쓸 수 있게 다듬고(변환), 매일 알아서 돌게 하는(오케스트레이션) 일을 처음부터 끝까지 직접 만들어 봅니다. 2026년 11월 기준 최신 버전 DuckDB 2.0, dbt 2.0, dlt, Apache Airflow 3.4로 실제 실행해 확인한 내용만 담았습니다.


수집API·파일 → raw
ingest.py · dlt
저장웨어하우스·레이크
DuckDB · DuckLake
변환·검증staging → marts
dbt 2.0 테스트
오케스트레이션매일 6시 자동 실행
Airflow 3.4
Airflow에서 적재, dbt 빌드, 결과 확인 세 태스크가 모두 성공한 화면
교안 마지막에 완성하는 파이프라인의 실제 실행 화면입니다. 새 주문 파일 적재 → dbt 변환·테스트 11개 통과 → 7일치 매출 5억 5,860만 4,500원 집계까지 Airflow가 순서대로 돌렸습니다(가상 데이터, 2026-11-22).
35장기초 15 + dbt 심화 6 + Airflow 11 + PySpark 3
1개처음부터 끝까지 이어지는 쇼핑몰 파이프라인
2026.11DuckDB 2.0 · dbt 2.0 · Airflow 3.4 기준
12문항사전·사후 평가

2026년 데이터 엔지니어에게 필요한 것

레딧 데이터 엔지니어 커뮤니티(r/dataengineering)에서 2026년 10~11월 가장 많은 추천을 받은 글 중 하나는 "파이프라인 만들던 일이 AI 챗봇용 시맨틱 레이어 만드는 일로 바뀌었다"는 글이었습니다. 코드 작성은 AI가 빠르게 도와주지만, 데이터가 언제 어디서 와서 어떻게 바뀌었는지 설명하고 검증하는 일은 여전히 사람 몫입니다. 이 교안은 도구 사용법보다 다시 돌려도 결과가 같은 적재, 틀린 데이터를 막는 테스트, 실패를 드러내는 오케스트레이션을 직접 만들어 보는 데 시간을 씁니다.

강의 흐름

시작·기초

역할과 기본기

데이터 엔지니어가 하는 일, 실습 환경, SQL 모델링과 파일 포맷.

  • 00 데이터 엔지니어가 하는 일
  • 01 실습 환경과 데이터
  • 02 SQL과 데이터 모델링
  • 03 CSV와 Parquet
수집·저장·변환

파이프라인의 몸통

증분 적재, dlt로 API 수집, 레이크하우스, dbt 변환과 테스트, 그리고 증분 모델·스냅샷·단위 테스트까지 다루는 dbt 심화 6장.

  • 04 증분 적재와 멱등성
  • 05 dlt로 API 수집
  • 06 웨어하우스·레이크·레이크하우스
  • 07 dbt로 변환하기
  • 08 데이터 품질과 테스트
  • D01~D06 dbt 심화
오케스트레이션

Airflow 3.4 모듈 (11장)

설치, 첫 DAG, 시간대·백필, 재시도, Asset, Task Loops, 2→3 옮기기, 운영 판단까지. 이어서 캡스톤에서 앞의 모든 것을 DAG 하나로 묶습니다.

  • A00~A10 Airflow
  • 09 캡스톤: 적재 → dbt → 확인
확장·AI·취업

규모, 운영, AI 시대

Spark가 필요한 때와 PySpark 실습, 스트리밍과 CDC, 운영과 보안, AI가 읽는 데이터, 포트폴리오와 면접.

  • 10 Spark는 언제 필요한가
  • S01~S03 PySpark 실습
  • 11 스트리밍과 CDC
  • 12 운영·비용·보안
  • 13 AI가 읽는 데이터
  • 14 포트폴리오와 면접

이런 분께 맞습니다

SQL SELECT문과 Python 함수를 읽을 수 있으면 따라올 수 있습니다. 모든 실습은 노트북 한 대에서 무료 도구로 합니다.

다음
00. 데이터 엔지니어가 하는 일
이어보기 →