Airflow 1.10.10连接Google Cloud Storage报错问题求助
Airflow 1.10.10 GCP连接报错排查方案
以下是该版本下同类问题的高频触发原因与修复方案,按优先级执行验证:
- 兼容依赖修复
Airflow 1.10.10自带的GCP相关依赖存在已知认证逻辑bug,先将相关包固定为兼容版本:
安装完成后重启Airflow scheduler、webserver、worker所有服务再验证。pip install apache-airflow-backport-providers-google==2020.10.29 google-cloud-core==1.3.0 google-api-python-client==1.12.5 - 连接配置修正
该版本GCP连接的Keyfile Path字段不支持仅填写密钥父目录,必须指定到具体的JSON密钥文件全路径,如果你之前配置的是目录,修改为完整的文件路径后保存重试。 - 环境变量冲突排查
若运行Airflow的系统环境中存在GOOGLE_APPLICATION_CREDENTIALS环境变量,Airflow会优先读取该变量指向的密钥,忽略连接配置中的路径。可在Airflow运行环境下执行echo $GOOGLE_APPLICATION_CREDENTIALS确认变量值,如有冲突可删除该环境变量,或更新变量值为正确的密钥路径。 - 密钥权限校验
运行Airflow服务的用户需要拥有密钥文件的读权限,执行以下命令修正权限:chmod 644 <你的密钥文件全路径> chown <airflow运行用户> <你的密钥文件全路径>
内容的提问来源于stack exchange,提问作者Tan Linh
相关产品推荐
相关产品推荐

