Data Fusion写入GCS Sink时报指定存储桶不存在异常如何处理
Data Fusion 桶不存在报错解决思路
该报错并非你配置的数据源/输出目标GCS桶的权限问题,核心是Data Fusion运行作业依赖的系统临时桶不存在,可按以下步骤排查修复:
- 确认报错日志中标识的桶
gs://df-3070032220784195332-e6pu33jqaii6zerkaizbbqaaaa是否存在于当前GCP项目的GCS存储桶列表中
该桶是Data Fusion实例创建时自动生成的默认临时存储桶,用于存放作业临时文件、运行日志、元数据等内容,若被人为删除或实例初始化时生成失败就会触发上述报错。 - 若确认桶已删除,可二选一修复:
- 重建同名桶:在GCS控制台创建和报错名称完全一致的存储桶,区域选择和Data Fusion实例相同的区域即可,你已经授予相关服务账号GCS Admin权限,创建完成后即可正常使用
- 替换实例默认临时桶:进入Data Fusion实例的编辑页面,在「系统上下文属性」配置项中新增键为
system.profile.properties.tempBucket的配置,值填写你提前创建好的可用GCS桶名称(无需加gs://前缀),保存后重启Data Fusion实例即可永久生效
- 单次运行临时规避:如果只是测试单次Pipeline运行,可以直接在Pipeline的运行时配置中添加上述
system.profile.properties.tempBucket参数,指定可用桶后直接运行即可,不需要修改实例全局配置 - 跨项目场景校验:如果你的Data Fusion实例和GCS资源分属不同GCP项目,需要额外确认Data Fusion、Dataproc服务账号被授予了存储桶所在项目的GCS读写权限
内容的提问来源于stack exchange,提问作者Santosh Kumar Sahoo
相关产品推荐
相关产品推荐

