在Airflow中配置GOOGLE_APPLICATION_CREDENTIALS遇文件找不到错误求助

1. 修复路径解析错误 #

你使用的Windows反斜杠\在Python字符串中会被当作转义字符处理，导致实际路径和预期不符，可通过三种方式修正：

• 用正斜杠替代：os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "dags/support/keys/key.json"
• 用转义后的反斜杠：os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "dags\\support\\keys\\key.json"
• 用原始字符串：os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = r"dags\support\keys\key.json"

2. 用绝对路径避免依赖工作目录 #

相对路径受Airflow工作目录影响，容易出现路径失效问题。可以通过__file__获取DAG文件的绝对路径，再拼接密钥路径：

import os
from pathlib import Path

dag_dir = Path(__file__).parent
key_path = dag_dir / "support" / "keys" / "key.json"
os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = str(key_path)

3. 遵循Airflow安全最佳实践 #

不建议将密钥放在DAG目录下（DAG目录会被Airflow自动扫描，存在泄露风险），推荐更安全的配置方式：

• 通过Airflow连接配置：在Airflow UI中创建GCP连接，将服务账号JSON内容填入Keyfile JSON字段，任务中直接调用该连接ID（如GoogleCloudStorageHook(gcp_conn_id="your_gcp_conn")），无需手动设置环境变量。
• 系统级环境变量：在Airflow配置文件（如airflow.cfg）或部署环境中设置GOOGLE_APPLICATION_CREDENTIALS为密钥文件的绝对路径，避免在DAG代码中硬编码路径。
• 容器部署挂载密钥：如果用Docker部署Airflow，将密钥文件挂载到容器内固定路径（如/opt/airflow/keys/key.json），再设置环境变量指向该路径。

内容的提问来源于stack exchange，提问作者Oladayo