Airflow KubernetesPodOperator运行时Rendered Template镜像值异常变更问题

可能的问题原因 #

• DAG节点配置不一致
  如果你的Airflow集群采用scheduler、webserver、worker分离的分布式部署架构，且镜像配置依赖节点本地的环境变量、本地配置文件，就会触发该问题：

比如代码中镜像配置为 image = os.getenv("WORKER_IMAGE", "X")，仅在worker节点配置了WORKER_IMAGE=Y的环境变量，scheduler和webserver节点未同步配置。airflow tasks render命令默认在scheduler/webserver节点执行，只会读取到默认值X，任务实际调度到worker节点运行时才会读取到Y值。就算更换了EC2节点，只要部署流程中没有给scheduler、webserver同步注入对应配置，问题会持续存在。

• 镜像参数依赖上游任务动态输出
  如果你给KubernetesPodOperator的image参数配置了Jinja模板，引用了上游BashOperator的XCom输出，例如：

bash_task = BashOperator(
    task_id="step1",
    bash_command="echo 'Y'",
    do_xcom_push=True
)
k8s_task = KubernetesPodOperator(
    task_id="step2",
    image="{{ ti.xcom_pull(task_ids='step1') | default('X') }}",
    ...
)

任务未运行时，上游step1还未生成XCom记录，模板渲染会取默认值X；等step1运行完成推送了Y值到XCom，step2运行时就能拉取到正确的Y值。

• 低版本Airflow渲染缓存Bug
  2.3.0以下的部分Airflow版本存在Rendered Template页面预渲染缓存问题：任务实例创建时会预渲染一次模板存入本地缓存，未运行的任务实例不会随DAG代码更新自动刷新缓存，只有任务进入运行状态时才会触发重新渲染拉取最新值。
• DAG加载逻辑异常
  如果你的DAG是以压缩包、Git子模块形式导入，或者配置了自定义DAG加载器，可能存在webserver/scheduler加载了历史缓存的DAG包，worker节点加载的是最新版本DAG包的情况。

内容的提问来源于stack exchange，提问作者JaMo