IntelliJ提交Hive作业至Google Dataproc集群时服务账号密钥失效

API 探路者

2026-8-27

问题现象

在IntelliJ IDEA中使用服务账号密钥向Google DataProc集群提交Hive作业时触发认证不通过异常，核心报错信息如下：

Exception in thread "main" java.util.concurrent.ExecutionException: com.google.api.gax.rpc.UnauthenticatedException: io.grpc.StatusRuntimeException: UNAUTHENTICATED: Request had invalid authentication credentials. Expected OAuth 2 access token, login cookie or other valid authentication credential.
    at com.google.common.util.concurrent.AbstractFuture.getDoneValue(AbstractFuture.java:588)
    at com.google.common.util.concurrent.AbstractFuture.get(AbstractFuture.java:567)
    at com.google.common.util.concurrent.FluentFuture$TrustedFuture.get(FluentFuture.java:91)
    at com.google.common.util.concurrent.ForwardingFuture.get(ForwardingFuture.java:66)
    at com.google.api.gax.longrunning.OperationFutureImpl.get(OperationFutureImpl.java:125)

问题复现代码片段：

HiveJob hiveJob = HiveJob.newBuilder()
                .setQueryList(queryList)
                .build();

Credentials credentials = GoogleCredentials.fromStream(new FileInputStream(credentialFilePath));


JobControllerSettings jobControllerSettings = JobControllerSettings.newBuilder()
                .setCredentialsProvider(FixedCredentialsProvider.create(credentials))
                .setEndpoint(myEndpoint)
                .build();

 try (JobControllerClient jobControllerClient =
                     JobControllerClient.create(jobControllerSettings)) {

            JobPlacement jobPlacement = JobPlacement.newBuilder().setClusterName(clusterName).build();

            Job job = Job.newBuilder().setPlacement(jobPlacement).setHiveJob(hiveJob).build();


            OperationFuture<Job, JobMetadata> submitJobAsOperationAsyncRequest =
                    jobControllerClient.submitJobAsOperationAsync(projectId, region, job);

            Job response = submitJobAsOperationAsyncRequest.get();
}

异常根因

按出现概率从高到低排序：

加载的服务账号凭证未配置DataProc访问所需的OAuth权限范围：GoogleCredentials.fromStream方法加载的服务账号密钥默认不携带任何GCP服务访问Scope，生成的访问令牌不具备API调用权限 （该类问题占同报错场景的80%以上，优先排查）
自定义端点配置错误：代码中myEndpoint变量值不符合DataProc区域端点规范，比如域名拼写错误、端口配置错误、跨区域配置端点，导致请求被发送到非目标认证节点
服务账号密钥本身失效：对应密钥已在GCP控制台被删除/禁用、本地密钥文件内容损坏、IDEA运行时读取的文件路径错误，实际加载了无效的凭证内容
服务账号缺少必要IAM权限：服务账号未被授予目标项目下DataProc作业提交的对应权限，凭证合法但无操作权限，部分场景下会返回同类认证错误
本地网络环境异常：IDEA配置的本地/企业代理拦截了API请求，篡改或剥离了请求中的认证令牌头，导致服务端无法收到合法凭证

修复方案

对应上述根因逐一排查修复：

凭证加载后补充必要的OAuth权限范围，修改凭证初始化代码：

// 全云平台权限范围，调试阶段可先用这个快速验证
Credentials credentials = GoogleCredentials.fromStream(new FileInputStream(credentialFilePath))
        .createScoped("https://www.googleapis.com/auth/cloud-platform");

生产环境建议遵循最小权限原则，替换为DataProc专属权限范围https://www.googleapis.com/auth/dataproc即可。

校验端点配置正确性：区域级DataProc端点格式固定为{集群所在区域}-dataproc.googleapis.com:443，例如集群部署在asia-southeast1区域，端点值应为asia-southeast1-dataproc.googleapis.com:443，无特殊网络需求不要随意修改端口或域名后缀。
校验密钥有效性：到GCP IAM控制台确认对应服务账号的密钥处于启用状态、未过期；本地调试时打印加载后凭证的关联服务账号邮箱、项目ID信息，确认读取的是目标路径下的正确密钥文件，没有因为相对路径配置错误加载到其他无效文件。
配置IAM权限：给对应服务账号绑定DataProc作业提交所需的最小角色，常规作业提交场景绑定roles/dataproc.editor即可，细粒度权限场景可按需拆分权限，同时确认服务账号没有被组织级、项目级的拒绝策略拦截。
排查网络问题：临时关闭本地代理测试作业提交是否正常，如果是企业内网环境，需要将DataProc服务对应域名加入代理白名单，避免认证头被代理拦截篡改。

内容的提问来源于stack exchange，提问作者abd