Airflow集成Vault作为密钥后端无响应问题求助

1. 先确认Helm values配置是否真的生效 #

很多时候问题出在Helm没有把backend_kwargs正确渲染到airflow.cfg里，别光看values文件，得进Pod验证：

• 检查Helm values里的配置格式：backend_kwargs必须是JSON字符串，不能写YAML对象，比如：

  airflow:
    config:
      secrets:
        backend: airflow.providers.hashicorp.secrets.vault.VaultBackend
        backend_kwargs: '{"connections_path": "airflow/connections", "variables_path": "airflow/variables", "url": "https://vault.example.com:8200", "auth_type": "kubernetes", "role": "airflow-vault-role", "verify": "/etc/airflow/ca/custom-ca.crt"}'
  

• 进Web服务器Pod查看实际的airflow.cfg：

  cat /opt/airflow/airflow.cfg | grep -A5 -B5 secrets
  

  如果backend_kwargs是空的或者格式不对，说明Helm模板没处理好，得检查Chart的configmaps/airflow-config.yaml模板，确保里面有{{ .Values.airflow.config.secrets.backend_kwargs }}的渲染逻辑。

2. 手动测试Vault连接，排除Vault端问题 #

既然看起来Airflow没连Vault，先在Pod里手动测，直接定位问题：

• 装hvac库（镜像里没有的话）：

  pip install hvac
  

• 用Kubernetes auth登录并读取变量：

  python3 -c "
  import hvac
  client = hvac.Client(url='https://vault.example.com:8200', verify='/etc/airflow/ca/custom-ca.crt')
  with open('/var/run/secrets/kubernetes.io/serviceaccount/token', 'r') as f:
      token = f.read()
  client.auth.kubernetes.login(role='airflow-vault-role', jwt=token)
  print('是否认证成功：', client.is_authenticated())
  print('测试读取变量：', client.secrets.kv.v2.read_secret_version(path='airflow/variables/test_var'))
  "
  

  如果手动测失败，说明是Vault的问题：比如角色不存在、权限不够、CA证书不被信任，或者Kubernetes auth挂载路径错了。

3. 调高日志级别，看Airflow到底在干嘛 #

默认日志级别太低，看不到Vault相关的调试信息，改Helm values调高日志：

airflow:
  config:
    logging:
      logging_level: DEBUG
      loggers:
        airflow.providers.hashicorp:
          level: DEBUG

重启Web服务器、调度器、Worker后，看日志：

# 看Web服务器日志
oc logs -f <airflow-web-pod-name>
# 看调度器日志
oc logs -f <airflow-scheduler-pod-name>

这时候就能看到Vault连接的详细日志，比如认证失败、路径写错、证书找不到这些具体问题。

4. 确认自定义CA证书的配置 #

你已经把CA放进镜像了，得确保：

• backend_kwargs里的verify参数指向的路径和镜像里的一致，比如/etc/airflow/ca/custom-ca.crt
• 用curl测试证书能不能正常验证Vault的SSL：

  curl -v --cacert /etc/airflow/ca/custom-ca.crt https://vault.example.com:8200/v1/sys/health
  

  如果curl失败，要么证书路径错了，要么证书本身有问题。

5. 检查Airflow和HashiCorp Provider的版本兼容 #

Airflow和对应的Provider版本不兼容也会导致后端加载失败，进Pod看版本：

pip list | grep apache-airflow-providers-hashicorp

比如Airflow 2.5.x要配Provider 3.3.x以上版本，版本不对的话，在Helm values里指定：

airflow:
  extraPipPackages:
    - apache-airflow-providers-hashicorp==3.4.0

6. 别被wait-for-airflow-migrations Pod的日志误导 #

那个Pod只负责数据库迁移，它的错误只能说明backend参数配置格式错了，但实际用Vault的是Web服务器、调度器和Worker，所以重点看这些组件的日志和配置。

内容的提问来源于stack exchange，提问作者paas paas