如何解决Airflow无权限在Google Cloud Storage Bucket创建数据的问题？

首先看你的报错信息，核心问题是这个403禁止错误：

podio-reader-service1-717@podio-data.iam.gserviceaccount.com does not have storage.objects.create access to podio-reader-storage/phones_schema.json.

这个说明Airflow使用的GCP服务账号没有在目标Bucket创建对象的权限，另外前面的file_cache is unavailable是个警告，不影响核心功能，但也可以一起处理。

1. 解决核心权限问题（优先处理） #

你需要给对应的服务账号赋予GCS对象创建的权限，遵循最小权限原则，推荐添加Storage Object Creator角色：

• 打开GCP控制台，进入IAM & Admin > IAM页面
• 在成员列表里找到podio-reader-service1-717@podio-data.iam.gserviceaccount.com
• 点击该成员右侧的编辑图标，选择添加另一个角色
• 在角色搜索框中输入Storage Object Creator并选中它（如果需要更全面的权限，比如修改/删除对象，可以选Storage Object Admin，但尽量用最小必要权限）
• 保存更改，等待1-2分钟让权限生效

2. 处理file_cache警告（可选优化） #

这个警告是因为oauth2client 4.0.0+版本不再支持file_cache，你可以通过以下方式禁用它：
在你的DAG代码开头添加环境变量设置：

import os
os.environ['GOOGLE_API_USE_CLIENT_CERTIFICATE'] = 'False'

或者在使用GCS相关Hook的时候，添加cache_discovery=False参数，比如：

from airflow.providers.google.cloud.hooks.gcs import GCSHook
hook = GCSHook(gcp_conn_id='your_gcp_conn_id', cache_discovery=False)

3. 验证Airflow连接配置 #

确保你的Airflow GCP连接配置正确：

• 确认连接使用的密钥文件属于podio-reader-service1-717@podio-data.iam.gserviceaccount.com这个服务账号
• 检查连接的Extra字段是否包含正确的project_id，比如：

  {"project_id": "podio-data"}
  

做完这些之后，重新运行你的DAG，应该就能正常创建文件到GCS Bucket了。

内容的提问来源于stack exchange，提问作者Tia