Airflow配置远程Celery Worker时DAG同步及任务失败问题排查

两个异常现象本质是分布式Airflow部署的基础规则没满足：

• DAG仅短暂显示：Webserver、Scheduler默认只扫描自身本地文件系统的DAG目录，不会主动拉取其他节点（包括你本地worker）上的DAG。你在本地执行airflow dags reserialize时，本地会把DAG序列化信息写入共享元数据库，Webserver能临时读到这些数据，但Scheduler下一轮扫描自身本地DAG目录找不到对应文件，就会把元数据里的对应DAG标记为失效，直接从Webserver列表里移除。
• 任务直接执行失败：从Scheduler日志能看到，下发任务时携带的DAG路径是你本地Mac的路径/Users/wilbertung/Documents/lowitest/airflow/dags/DAG_lowi50.py，虚拟机上的所有Airflow组件根本不存在这个路径，自然找不到DAG文件，任务直接报错失败。

所有Airflow节点（虚拟机上的Webserver、Scheduler、自带Worker，以及你本地运行的Celery Worker）的airflow.cfg中以下配置必须完全一致：

• 基础连通性配置，确保所有节点接入同一套集群：
  • [core] 段落下的 sql_alchemy_conn：统一指向同一个Airflow元数据库地址，禁止节点单独使用本地SQLite
  • [celery] 段落下的 broker_url、result_backend：统一指向同一个Celery消息中间件（Redis/RabbitMQ等）地址，保证任务消息能跨节点正常投递
• DAG相关强制对齐配置：
  • [core] 段落下的 dags_folder：所有节点的该路径值必须完全相同，比如统一设置为/opt/airflow/dags，禁止本地用Mac用户目录、虚拟机用Linux自有路径的情况
  • [core] 段落下的 store_serialized_dags = True：开启DAG序列化持久化，降低各节点重复解析DAG的开销，避免DAG显示不一致
  • [scheduler] 段落下的 min_serialized_dag_update_interval、dag_dir_list_interval 可根据同步需求调整扫描间隔，默认值30秒、300秒，调小可加快DAG更新的展示速度

仅改配置无法解决问题，Airflow本身不提供跨节点自动同步DAG文件的能力，必须手动保证所有节点的DAG文件一致：

• 选择一种DAG同步方案，保证所有节点dags_folder路径下的文件完全一致：
  • 用NFS/SMB等网络文件系统，把共享DAG目录挂载到所有节点（包括你的本地机器），所有节点直接读写同一份DAG文件
  • 基于Git做DAG版本管理，所有节点定时拉取同一仓库的DAG代码到本地配置好的dags_folder目录
  • 写定时同步脚本，把DAG文件从统一存储位置分发到所有节点的对应目录
• 所有节点的Airflow版本、Python主版本、DAG依赖的第三方Python包版本必须完全对齐，避免出现序列化不兼容、任务执行找不到依赖的问题
• 所有配置修改、DAG同步完成后，重启所有节点的Airflow服务，先在Scheduler节点执行一次airflow dags reserialize，确认Webserver能稳定展示DAG后，再启动本地的Celery Worker即可。

内容的提问来源于stack exchange，提问作者W1ck3d