Airflow2 gitSync在默认airflow命名空间正常 其他命名空间无法同步DAG
问题根因排查与解决方案
1. 配置不生效的误解说明
helm show values命令输出的是Apache Airflow官方Chart的默认配置,不会读取你部署时传入的自定义values,因此你看到的dags.gitSync.enabled: false属于正常默认值,和你实际部署生效的配置无关。- 如需验证当前部署实际生效的自定义参数,执行命令:
helm get values airflow -n <你的目标命名空间>
2. 自定义命名空间下故障的核心原因
- SSH密钥Secret缺失:你使用SSH协议拉取Git仓库,需要提前在部署的目标命名空间下创建存储SSH私钥的Secret。默认
airflow命名空间你已经提前创建过对应Secret,gitSync可以正常拉取代码;但新建的自定义命名空间没有对应Secret,导致gitSync容器初始化失败,连带依赖DAG目录就绪的scheduler、webserver容器无法正常启动。 - 调度器异常关联原因:scheduler启动依赖DAG目录正常挂载,gitSync初始化失败会导致DAG目录为空、挂载异常,scheduler无法正常启动,因此WebUI会弹出调度器未运行的提示。
- 免登录直接进入WebUI属于webserver异常运行状态的表现,也和gitSync初始化失败、webserver未完成完整启动流程有关。
3. 故障修复步骤
- 先检查目标命名空间下的Pod运行状态,确认报错原因:
# 查看Pod状态,确认是否存在CrashLoopBackOff、Init:Error等异常状态 kubectl get pods -n <你的目标命名空间> # 查看gitSync容器的具体报错 kubectl logs <异常Pod名称> -n <你的目标命名空间> -c git-sync # 确认PVC是否正常绑定,minikube环境偶尔会出现存储分配失败的问题 kubectl get pvc -n <你的目标命名空间>
- 在目标命名空间下创建存储SSH私钥的Secret:
kubectl create secret generic git-ssh-secret -n <你的目标命名空间> --from-file=gitSshKey=<你本地的SSH私钥文件路径>
- 在你的
values.yaml中补充gitSync的Secret引用配置,原有其他配置保留不变:
dags: gitSync: # 新增以下配置,和你创建的Secret名称对应 sshKeySecret: git-ssh-secret enabled: true repo: "ssh://git@github.com/apache/airflow.git" branch: v2-1-stable rev: HEAD depth: 1 maxFailures: 0 subPath: "tests/dags" wait: 60 containerName: git-sync uid: 65533 extraVolumeMounts: [] env: [] resources: {}
- 卸载原有异常部署后重新安装:
helm uninstall airflow -n <你的目标命名空间> helm upgrade --install airflow apache-airflow/airflow -f values.yaml -n <你的目标命名空间>
- 等待所有Pod全部进入Running状态后,再执行端口转发访问WebUI,确认DAG正常加载、调度器状态正常。
内容的提问来源于stack exchange,提问作者GoneAsync
相关产品推荐
相关产品推荐

