Dataflow Runner访问GCP Secret Manager遇权限拒绝问题排查求助

问题背景 #

使用Java编写的Apache Beam Dataflow项目，通过以下代码获取数据库凭证：

private static JsonObject getCredentials(String suffix) {
    String secretName = "projects/example-project/secrets/example_" + suffix + "/versions/latest";
    try (SecretManagerServiceClient client = SecretManagerServiceClient.create()) {
        SecretPayload payload = client.accessSecretVersion(secretName).getPayload();
        String secret_text = payload.getData().toStringUtf8();
        return JsonParser.parseString(secret_text).getAsJsonObject();
    } catch (Exception e) {
        throw new RuntimeException(e);
    }
}

本地运行正常，但在GCP使用Dataflow Runner运行时触发权限错误：

Error message from worker: java.lang.RuntimeException:
org.apache.beam.sdk.util.UserCodeException:
java.lang.RuntimeException:
com.google.api.gax.rpc.PermissionDeniedException:
io.grpc.StatusRuntimeException: PERMISSION_DENIED: Permission
'secretmanager.versions.access' denied for resource
'projects/example-project/secrets/example_server1/versions/latest'
(or it may not exist).

已确认密钥存在，本地与触发Dataflow任务使用相同服务账号，且该账号已授予Secret Manager Admin IAM权限。

排查与修复步骤 #

• 确认Dataflow Worker实际使用的服务账号
  提交Dataflow任务的账号和Worker运行时的账号可能不一致：默认情况下，Worker会使用项目的默认Compute Engine服务账号（格式：[PROJECT_NUMBER]-compute@developer.gserviceaccount.com），而非提交任务的账号。需检查该Worker账号是否拥有Secret Manager访问权限：

  1. 进入GCP控制台IAM页面，找到该默认Compute服务账号
  2. 确认其已被授予roles/secretmanager.secretAccessor或roles/secretmanager.admin权限

• 等待权限生效
  IAM权限变更可能需要5-10分钟才能完全生效，若刚添加权限就触发任务，等待一段时间后重试。

• 验证Secret资源的直接权限绑定
  直接检查目标Secret的IAM权限列表，确认对应服务账号（提交任务账号或Worker账号）已被添加：

  1. 进入Secret Manager控制台，找到example_server1密钥
  2. 查看「权限」标签页，确认目标账号拥有secretmanager.versions.access权限

• 检查代码的凭证加载逻辑
  本地运行可能依赖本地凭证文件，而Dataflow Worker默认从元数据服务器获取凭证。确保代码未硬编码本地凭证路径，SecretManagerServiceClient.create()使用默认凭证链初始化（自动从环境变量、元数据服务器获取凭证）。

• 排查VPC网络限制
  若Dataflow使用自定义VPC，需确认：

  1. VPC已启用Private Google Access，允许Worker通过内部IP访问Google服务
  2. 防火墙规则允许Worker出站访问secretmanager.googleapis.com（443端口）

• 查看Dataflow Worker日志
  进入Dataflow控制台目标任务的「日志」标签页，搜索service account或credential相关内容，确认Worker实际使用的账号身份是否符合预期。

最优修复建议 #

遵循最小权限原则，给Dataflow Worker使用的服务账号添加roles/secretmanager.secretAccessor权限即可，无需直接授予Secret Manager Admin权限。

内容的提问来源于stack exchange，提问作者Shahid Thaika