Dataflow运行Apache Beam作业报GCS匿名无storage.objects.get权限

出现Anonymous caller does not have storage.objects.get access报错的核心原因是：你在本地配置的密钥、环境变量仅对本地提交作业的进程生效，Dataflow云端运行的worker节点不会自动继承本地凭证，身份校验失败就会被识别为匿名用户，按以下步骤排查修复即可：

• 显式指定worker运行使用的服务账号
  提交作业时必须通过参数指定Dataflow计算节点使用的服务账号身份，不传的话worker默认使用项目默认Compute Engine服务账号，该账号无权限/被禁用时就会触发匿名访问报错。
  你可以在提交命令中追加参数：--serviceAccount=你的服务账号完整邮箱（格式为xxx@你的项目ID.iam.gserviceaccount.com）
  也可以直接在代码的Pipeline配置中指定：

  # Python SDK 配置示例
  from apache_beam.options.pipeline_options import GoogleCloudOptions
  pipeline_options = PipelineOptions()
  gcp_opts = pipeline_options.view_as(GoogleCloudOptions)
  gcp_opts.service_account_email = "你的服务账号完整邮箱"
  

  // Java SDK 配置示例
  DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);
  options.setServiceAccount("你的服务账号完整邮箱");
  

  注意：不要只传本地密钥路径，云端worker访问不到你本地存储的密钥文件，硬编码本地密钥路径只会让worker读不到凭证，fallback为匿名身份。

• 给服务账号配齐必要权限
  你指定的服务账号至少需要绑定以下角色，权限配置后等待1-2分钟再提交作业，IAM权限同步存在延迟：

  • 项目级Dataflow Worker角色
  • 存储Avro文件的GCS桶的Storage Object Viewer角色
  • 目标BigQuery数据集的BigQuery Data Editor角色

• 确认本地提交阶段的凭证生效
  不要在Pipeline初始化之后才在代码中设置GOOGLE_APPLICATION_CREDENTIALS环境变量，这种写法不会被Beam SDK识别。正确做法是在启动提交脚本前，先在当前终端导出环境变量：

  export GOOGLE_APPLICATION_CREDENTIALS="/本地绝对路径/服务账号密钥文件.json"
  

  配置后可以执行gcloud auth list确认当前终端激活的身份为目标服务账号，再执行作业提交命令。

• 作业提交后可以到GCP控制台的Dataflow作业详情页，查看作业信息面板中的服务账号字段，如果显示的不是你指定的服务账号，说明参数配置未生效，重新检查参数拼写和位置即可。

内容的提问来源于stack exchange，提问作者user546298