本地Docker运行Airflow添加Google Cloud连接问题咨询

Keyfile path路径基准说明 #

• Airflow连接的Keyfile path以实际执行GCP操作的服务节点的文件系统为基准：常规Docker部署的Airflow集群中，scheduler负责调度、worker负责执行任务、webserver负责连接测试，通常三类组件会共享dags、config这类统一挂载的目录，你只需要将服务账号密钥文件放到所有组件都能访问到的共享挂载路径下，填写对应容器内的绝对路径即可。
  例如宿主机的./airflow/config/gcp_sa_key.json挂载到容器内的/opt/airflow/config/gcp_sa_key.json，则Keyfile path直接填写/opt/airflow/config/gcp_sa_key.json即可，无需区分webserver或scheduler的独立路径。

Keyfile JSON字段报bad request排查方案 #

• 首先校验JSON格式合法性：确认粘贴的内容是完整的服务账号密钥原文，没有遗漏首尾的{}、没有多余的换行、空格或转义字符，可先在本地JSON校验工具验证格式无误后再粘贴
• 验证服务账号本身有效性：可以在本地用该密钥执行gcloud auth activate-service-account --key-file=<你的密钥文件路径>，确认账号本身没有被禁用、权限配置正常
• 检查provider包版本：部分旧版本的apache-airflow-providers-google包存在JSON字段解析bug，可执行pip show apache-airflow-providers-google查看版本，建议升级到8.0.0及以上稳定版本
• 确认UI填写规则：在Airflow Web UI填写该字段时直接粘贴原始JSON内容即可，不要额外添加引号、不要做任何转义处理

内容的提问来源于stack exchange，提问作者Indrid