You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Git-sync Sidecar容器无法同步GitHub仓库DAG至Airflow Kubernetes集群

问题诊断与解决方案

核心问题:挂载路径的subPath不匹配

你的Airflow scheduler容器和git-sync容器对dags-data卷的挂载方式不一致,导致两边读写的是卷里的不同位置:

  • scheduler容器挂载dags-data时使用了subPath: dags,意味着它实际读取的是dags-data卷内的dags子目录
  • git-sync容器直接挂载dags-data到/opt/airflow/dags,它同步的仓库内容会写入到dags-data卷的根目录,而非scheduler期望的dags子目录

这就解释了为什么git-sync日志显示同步成功,但scheduler看不到文件——两边看的不是同一个目录。

修复步骤

修改git-sync容器的volumeMounts,添加对应的subPath配置,让它直接同步到scheduler读取的子目录:

- name: git-sync
  image: registry.k8s.io/git-sync/git-sync:v3.6.5
  args:
    - "-wait=60"
    - "-repo=<repo>"
    - "-branch=master"
    - "-root=/opt/airflow/dags"
    - "-username=<redacted>"
    - "-password-file=/etc/git-secret/token"
  volumeMounts:
    - name: git-secret
      mountPath: /etc/git-secret
      readOnly: true
    - name: dags-data
      mountPath: /opt/airflow/dags
      subPath: dags  # 新增这一行

额外验证步骤

  1. 进入git-sync容器,检查同步目录内容:
    kubectl exec -it <scheduler-pod-name> -c git-sync -- ls -l /opt/airflow/dags
    
    应该能看到GitHub仓库中的DAG文件。
  2. 进入scheduler容器,验证目录内容一致:
    kubectl exec -it <scheduler-pod-name> -c airflow-scheduler -- ls -l /opt/airflow/dags
    
  3. 若仍有问题,检查仓库结构:确保你的GitHub仓库根目录下直接存放DAG文件,而非嵌套在dags子目录中。如果仓库内DAG在子目录,可给git-sync添加-dest参数指定同步到目标目录的对应位置,例如:
    args:
      # 其他参数不变
      - "-dest=dags"
    

内容的提问来源于stack exchange,提问作者jorgeavelar98

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.24 19:42:01