Dataflow Prime默认配置下无异常采样数据,权限报错求助
问题排查与解决办法
针对你遇到的Dataflow Prime采样数据权限不足问题,可从以下几个方向排查:
当前登录用户缺少GCS对象访问权限
Dataflow任务能读写bucket,仅代表任务使用的服务账号有权限,但你登录UI的个人账号可能没有读取采样数据的权限。给你的账号在目标bucket上添加Storage Object Viewer角色,或者直接授予storage.objects.get和storage.objects.list这两个细粒度权限。Dataflow服务账号权限不全
Dataflow默认用Compute Engine服务账号(格式为[项目编号]-compute@developer.gserviceaccount.com)执行任务,该账号需要同时拥有Storage Object Creator和Storage Object Viewer权限:前者确保能写入采样数据到temp路径,后者让Dataflow UI能获取到采样数据的元信息并展示。采样数据路径的ACL异常
异常采样数据默认存在gs://bucket/beam/tmp/dataflow-sampling/子目录下,检查该子目录的ACL是否继承了bucket的权限。如果之前手动修改过子目录权限,需重置为继承bucket的权限配置,确保用户和服务账号都能访问。
内容的提问来源于stack exchange,提问作者bill
相关产品推荐
相关产品推荐

