Airflow · A10

운영 방식과 도구 고르기

실습은 standalone으로 했지만 실제 운영은 다릅니다. 직접 띄울지 매니지드 서비스를 쓸지, Airflow가 아니라 다른 도구가 나은 경우는 언제인지 정리합니다.


운영하는 방법 세 가지

방법맞는 경우신경 쓸 점
Docker Compose 직접 운영서버 한 대, 작은 팀, 비용 최소화업그레이드·백업·모니터링을 직접 함
Kubernetes + 공식 Helm 차트DAG와 태스크가 많고 인프라 팀이 있음설정 항목이 많음. Airflow 3에서 webserver 설정이 apiServer로 바뀜
매니지드 (AWS MWAA, GCP Cloud Composer, Astronomer)운영 인력 없이 바로 쓰고 싶음월 고정 비용. 지원 버전이 최신보다 늦을 수 있음

레딧에서 "2인 팀일 때부터 20인 팀이 된 지금까지 Airflow를 잘 쓴다"는 답에도 "운영 부담을 줄이려면 매니지드를 쓰라"는 단서가 붙었습니다. 서버를 관리할 사람이 없다면 매니지드부터 검토합니다.

Airflow가 아니어도 되는 경우

dbt만 매일 돌림

GitHub Actions 예약 실행, 클라우드 스케줄러, cron으로 충분하다는 의견이 많습니다.

한 플랫폼 안에서 끝남

Databricks·Fabric 안에서만 돈다면 그 플랫폼의 작업 스케줄러가 더 간단합니다.

업무 자동화 위주

메일·시트·슬랙을 잇는 일은 n8n 같은 워크플로 도구가 빠릅니다.

Dagster, Prefect와 비교

2026년 7월 Prefect가 Dagster를 인수한다고 발표했습니다. 두 회사는 Dagster가 이름과 오픈소스 라이선스를 유지한다고 밝혔습니다. 레딧 여론은 "dbt 중심이고 직접 띄울 수 있으면 Dagster 오픈소스도 좋다, 다만 클라우드 요금은 확인하라", "여러 시스템을 잇는 범용 작업은 Airflow"로 갈립니다. 이력서에서 가장 많이 알아보는 이름은 여전히 Airflow라서, 처음 하나를 배운다면 Airflow를 권합니다.

다음에 해 볼 것

이것만 기억하세요

운영할 사람이 없으면 매니지드, 한 플랫폼 안에서 끝나면 그 플랫폼 스케줄러, 여러 시스템을 순서대로 잇고 실패를 관리해야 하면 Airflow입니다.

다음
09. 캡스톤: 적재 → dbt → 확인을 Airflow로
이어보기 →