Airflow · A08

Airflow 2 코드를 3으로 옮기기

블로그와 책의 예제, 회사의 기존 DAG는 대부분 Airflow 2 문법입니다. 3.4에서 바로 깨지는 부분과 자동 점검 도구 ruff로 찾는 법, ruff가 놓치는 부분을 실제로 돌려 확인했습니다.


가장 자주 걸리는 변경

Airflow 2Airflow 33.4에서 그대로 쓰면
schedule_interval="@daily"schedule="@daily"TypeError로 파일을 못 읽음
from airflow.datasets import Datasetfrom airflow.sdk import AssetModuleNotFoundError
from airflow.decorators import dag, taskfrom airflow.sdk import dag, task경고만, 다음 버전에서 제거 예정
from airflow.operators.python import PythonOperatorfrom airflow.providers.standard.operators.python import PythonOperator경고만
context["execution_date"]context["logical_date"]실행할 때 오류
SubDAG, SLATaskGroup·Asset, Deadline Alerts제거됨

이 밖에 catchup 기본값이 False로 바뀌었고, 다른 태스크의 XCom을 꺼낼 때 task_ids를 생략하면 이제 자기 자신의 값만 찾습니다.

ruff로 한 번에 점검하기

공식 안내는 Python 린터 ruff의 AIR 규칙으로 점검하라고 권합니다. 위 표의 옛 코드를 담은 파일로 돌려 봤습니다.

pip install ruff
ruff check dags/ --select AIR301,AIR302,AIR311,AIR312 --preview
old/old_style_dag.py:9:6: airflow3-suggested-update: `airflow.DAG` is removed in Airflow 3.0; It still works in Airflow 3.0 but is expected to be removed in a future version.
old/old_style_dag.py:9:56: airflow3-removal: [*] `schedule_interval` is removed in Airflow 3.0
old/old_style_dag.py:10:5: airflow3-suggested-to-move-to-provider: `airflow.operators.python.PythonOperator` is deprecated and moved into `standard` provider in Airflow 3.0; It still works in Airflow 3.0 but is expected to be removed in a future version.
old/old_style_dag.py:10:69: airflow3-suggested-update: [*] `airflow.datasets.Dataset` is removed in Airflow 3.0; It still works in Airflow 3.0 but is expected to be removed in a future version.
Found 4 errors.

두 가지를 확인했습니다. 첫째, ruff는 airflow.datasets.Dataset을 "아직 동작한다"고 안내했지만 3.4.0에서는 이미 import가 실패했습니다. 둘째, 문자열 키로 꺼내는 context["execution_date"]는 ruff가 잡지 못했습니다. ruff 결과만 믿지 말고, 고친 뒤에는 꼭 airflow dags test로 실제 실행까지 해 봅니다.

옮기는 순서

1

2.x 최신으로: 공식 안내는 2.7 이상, 가능하면 2.x 최신에서 3으로 올리라고 합니다. 메타데이터베이스 백업이 먼저입니다.

2

ruff로 점검·수정: --fix로 고칠 수 있는 것은 자동으로, 나머지는 손으로.

3

문자열 키 검색: execution_date, next_ds, prev_ds 같은 사라진 컨텍스트 키를 grep으로 찾습니다.

4

실행 확인: DAG마다 airflow dags test, 그리고 airflow dags list-import-errors가 비어 있는지 봅니다.

이것만 기억하세요

옛 예제를 가져오면 schedule_interval, Dataset, execution_date부터 바꿉니다. ruff는 첫 점검이고, 마지막 확인은 실제 실행입니다.

다음
A09. AI에게 DAG 맡기고 검증하기
이어보기 →