GCP Data Fusion管道报错:指定GCS存储桶不存在求助
解决GCP Data Fusion临时存储桶清理失败问题
恢复平台自动管理临时桶的权限
Data Fusion的临时存储桶是由系统自动创建和维护的,手动删除会打乱它的生命周期逻辑。先给Data Fusion实例的服务账号补全权限:- 找到实例对应的服务账号,格式一般是
service-<你的项目编号>@gcp-sa-datafusion.iam.gserviceaccount.com - 给这个账号授予
roles/storage.admin角色(可以针对整个项目或存储桶范围),确保它能自动创建、清理临时桶
- 找到实例对应的服务账号,格式一般是
重置管道的临时存储配置
- 进入Data Fusion控制台打开报错的管道编辑页
- 检查有没有手动指定临时存储路径的配置,有的话改回默认自动生成模式
- 保存后重新部署管道,运行一次任务让系统重新初始化临时桶的管理流程
清理管道残留元数据
如果上面的步骤没用,可能是管道元数据留存了错误的桶信息:- 删除当前报错的管道版本(记得先备份配置)
- 重新导入或新建管道,确保所有临时存储相关配置使用默认设置
- 重新部署并运行管道
强制重启实例触发清理
用Cloud Shell执行命令重启Data Fusion实例,让后台重新梳理资源状态:gcloud data-fusion instances restart <实例名称> --location=<区域>重启后系统会自动重建缺失的临时桶,清理无效的元数据引用
内容的提问来源于stack exchange,提问作者Prabhat Kumar
相关产品推荐
相关产品推荐

