如何配置Airflow Helm Chart实现Git-Sync的GitLab访问令牌认证

问题背景 #

Airflow官方支持两种Git访问方式：

• ssh
• 用户名/密码

当前GitLab仅允许SSH访问，本地部署的GitLab可选安全配置包括双因素认证（2FA）或基于令牌的认证。在组织中，令牌认证比SSH更简便，因此选择令牌方式，但此前用GITSYNC的USERNAME/PASSWORD配置失败，错误信息如下：

{
  "logger": "",
  "ts": "2024-08-30 21:52:28.182461",
  "caller": {
    "file": "main.go",
    "line": 784
  },
  "msg": "too many failures, aborting",
  "error": "Run(git ls-remote -q https://gitlab...../my-path/my-private-repo.git the-branch the-branch^{}): exit status 128: { stdout: \"\", stderr: \"remote: HTTP Basic: Access denied. The provided password or token is incorrect or your account has 2FA enabled and you must use a personal access token instead of a password. See https://gitlab........./help/topics/git/troubleshooting_git#error-on-git-fetch-http-basic-access-denied\\nfatal: Authentication failed for 'https://gitlab........./my-path/my-private-repo.git/'\" }",
  "failCount": 1
}

解决方案（针对Kubernetes上的Airflow GitSync） #

1. 生成GitLab个人访问令牌 #

• 登录GitLab账号创建个人访问令牌，至少勾选read_repository权限（私有仓库需确保权限覆盖目标仓库）。
• 注意：如果账号开启了2FA，必须用令牌替代密码，否则会触发认证失败。

2. 调整GitSync配置 #

在Airflow的Kubernetes部署配置（比如Helm的values.yaml，或对应ConfigMap/Secret）中修改认证参数：

• 将gitSync.password的值替换为刚生成的访问令牌
• gitSync.username可填写你的GitLab用户名，部分场景下填oauth2也能兼容

示例Helm配置片段：

gitSync:
  enabled: true
  repo: "https://gitlab.example.com/my-path/my-private-repo.git"
  branch: "the-branch"
  username: "你的GitLab用户名"
  password: "你的个人访问令牌"
  syncWait: 60

3. 用Secret存储敏感信息（推荐） #

不要明文写令牌，先创建Kubernetes Secret：

kubectl create secret generic airflow-git-secret \
  --from-literal=username=你的GitLab用户名 \
  --from-literal=password=你的个人访问令牌

然后在Helm配置中引用该Secret：

gitSync:
  enabled: true
  repo: "https://gitlab.example.com/my-path/my-private-repo.git"
  branch: "the-branch"
  secret:
    name: airflow-git-secret
    usernameKey: username
    passwordKey: password

4. 验证配置 #

重启Airflow的scheduler、worker等Pod，查看GitSync日志确认是否成功拉取仓库。如果仍报错，检查以下几点：

• 令牌权限是否覆盖目标仓库的读取权限
• 仓库URL是否正确
• GitLab是否有IP白名单限制，确保Airflow Pod的IP在允许范围内

内容的提问来源于stack exchange，提问作者Chris