Airflow 2 코드를 3으로 옮기기
블로그와 책의 예제, 회사의 기존 DAG는 대부분 Airflow 2 문법입니다. 3.4에서 바로 깨지는 부분과 자동 점검 도구 ruff로 찾는 법, ruff가 놓치는 부분을 실제로 돌려 확인했습니다.
가장 자주 걸리는 변경
| Airflow 2 | Airflow 3 | 3.4에서 그대로 쓰면 |
|---|---|---|
schedule_interval="@daily" | schedule="@daily" | TypeError로 파일을 못 읽음 |
from airflow.datasets import Dataset | from airflow.sdk import Asset | ModuleNotFoundError |
from airflow.decorators import dag, task | from airflow.sdk import dag, task | 경고만, 다음 버전에서 제거 예정 |
from airflow.operators.python import PythonOperator | from airflow.providers.standard.operators.python import PythonOperator | 경고만 |
context["execution_date"] | context["logical_date"] | 실행할 때 오류 |
| SubDAG, SLA | TaskGroup·Asset, Deadline Alerts | 제거됨 |
이 밖에 catchup 기본값이 False로 바뀌었고, 다른 태스크의 XCom을 꺼낼 때 task_ids를 생략하면 이제 자기 자신의 값만 찾습니다.
ruff로 한 번에 점검하기
공식 안내는 Python 린터 ruff의 AIR 규칙으로 점검하라고 권합니다. 위 표의 옛 코드를 담은 파일로 돌려 봤습니다.
pip install ruff
ruff check dags/ --select AIR301,AIR302,AIR311,AIR312 --previewold/old_style_dag.py:9:6: airflow3-suggested-update: `airflow.DAG` is removed in Airflow 3.0; It still works in Airflow 3.0 but is expected to be removed in a future version.
old/old_style_dag.py:9:56: airflow3-removal: [*] `schedule_interval` is removed in Airflow 3.0
old/old_style_dag.py:10:5: airflow3-suggested-to-move-to-provider: `airflow.operators.python.PythonOperator` is deprecated and moved into `standard` provider in Airflow 3.0; It still works in Airflow 3.0 but is expected to be removed in a future version.
old/old_style_dag.py:10:69: airflow3-suggested-update: [*] `airflow.datasets.Dataset` is removed in Airflow 3.0; It still works in Airflow 3.0 but is expected to be removed in a future version.
Found 4 errors.
두 가지를 확인했습니다. 첫째, ruff는 airflow.datasets.Dataset을 "아직 동작한다"고 안내했지만 3.4.0에서는 이미 import가 실패했습니다. 둘째, 문자열 키로 꺼내는 context["execution_date"]는 ruff가 잡지 못했습니다. ruff 결과만 믿지 말고, 고친 뒤에는 꼭 airflow dags test로 실제 실행까지 해 봅니다.
옮기는 순서
2.x 최신으로: 공식 안내는 2.7 이상, 가능하면 2.x 최신에서 3으로 올리라고 합니다. 메타데이터베이스 백업이 먼저입니다.
ruff로 점검·수정: --fix로 고칠 수 있는 것은 자동으로, 나머지는 손으로.
문자열 키 검색: execution_date, next_ds, prev_ds 같은 사라진 컨텍스트 키를 grep으로 찾습니다.
실행 확인: DAG마다 airflow dags test, 그리고 airflow dags list-import-errors가 비어 있는지 봅니다.
옛 예제를 가져오면 schedule_interval, Dataset, execution_date부터 바꿉니다. ruff는 첫 점검이고, 마지막 확인은 실제 실행입니다.