如何将DAG部署至通过Helm搭建的Kubernetes环境下的Airflow？

先解决你遇到的kubectl cp上传DAG不识别的问题 #

• Airflow的调度器、Webserver、Worker都是独立运行的Pod，你用kubectl cp上传的DAG只存在于单个Pod的/opt/airflow/dags目录，其他组件Pod根本看不到，自然不会被识别。
• 临时验证可以手动把DAG同步到所有相关Pod的对应目录，但这完全不适合生产环境。

生产环境最优最简方案（按优先级排序） #

1. Git自动同步（首推，最简且符合生产规范） #

Helm部署的Airflow默认支持Git Sync sidecar，直接通过Helm配置就能实现自动拉取DAG，不需要额外复杂操作：

• 修改你的Helm values配置文件，开启Git同步：

  dags:
    gitSync:
      enabled: true
      repo: "你的DAG仓库地址（比如https://github.com/xxx/airflow-dags.git）"
      branch: "main"
      revision: "HEAD"
      syncInterval: 60  # 每隔60秒自动同步一次DAG
      subPath: ""  # 如果DAG存放在仓库子目录，填写对应路径
  

• 执行更新命令生效：

  helm upgrade airflow apache-airflow/airflow -f your-values.yaml
  

• 配置完成后，所有Airflow组件的/opt/airflow/dags目录会自动从Git仓库拉取最新DAG，Airflow也会自动识别新的或更新的DAG，全程无需手动干预。

2. 持久卷（PV/PVC）挂载共享目录 #

如果不想依赖Git，也可以用PV实现DAG目录共享：

• 先创建一个PVC（可基于NFS、云厂商存储类等）
• 在Helm values里配置挂载：

  dags:
    persistence:
      enabled: true
      existingClaim: "你的PVC名称"
  

• 之后只需把DAG上传到PV对应的存储位置（比如NFS服务器的指定目录），所有Airflow Pod都会共享这个目录，自动识别DAG。
• 但这种方式需要额外维护存储服务，且DAG更新仍需手动或脚本同步到存储，自动化程度不如Git方案。

3. DAG序列化到数据库（不推荐，复杂度高） #

Airflow支持将DAG序列化后存储到元数据库，但需要开启序列化配置，还要用airflow dags sync等命令同步DAG到数据库，操作繁琐，仅适合特殊场景，不是生产环境的首选方案。

总结 #

• 临时测试可以用kubectl cp但要同步所有Pod，生产环境绝对禁用
• 最优最简方案就是开启Git Sync，通过Helm配置即可实现自动化同步，符合DevOps流程，维护成本最低

内容的提问来源于stack exchange，提问作者tpei