Dataproc上运行的Flink Job无法获取Google默认应用凭据

首先明确：Flink本身是支持在GCE（包括Dataproc托管的VM）上自动获取Application Default Credentials（ADC）的，你遇到的问题核心是Google客户端库无法通过元数据服务器检测到GCE环境，导致凭据获取失败。

为什么会检测失败？ #

Google的Java客户端库（比如你用的google-cloud-bigquery和google-cloud-storage）获取ADC时，会先尝试访问GCE元数据服务器（地址是http://metadata.google.internal，对应IP169.254.169.254），通过这个服务器获取当前VM关联的服务账户凭据。如果你的Dataproc集群所在的VPC存在以下情况，就会触发检测失败：

• 自定义防火墙规则阻止了对169.254.169.254的HTTP访问
• VPC路由配置异常，导致容器无法到达元数据服务器
• Yarn容器的网络隔离策略限制了对外访问

你日志里的Failed to detect whether we are running on Google Compute Engine就是这个检测步骤失败的直接体现。

解决方法 #

1. 修复元数据服务器的网络访问（推荐优先尝试） #

先验证VM和Yarn容器是否能访问元数据服务器：

• 在Dataproc主节点或工作节点上执行测试命令：

  curl http://metadata.google.internal/computeMetadata/v1/instance/service-accounts/default/email -H "Metadata-Flavor: Google"
  

  如果能返回服务账户邮箱（比如xxx-compute@developer.gserviceaccount.com），说明主机网络没问题；如果超时或报错，需要调整VPC防火墙规则，添加允许访问169.254.169.254/32的HTTP（80端口）流量的规则。
• 验证Yarn容器内的访问：可以提交一个简单的Flink作业，在作业中执行上述curl命令（或Java代码里发起HTTP请求），确认容器内是否能访问元数据服务器。如果容器内无法访问，需要检查Yarn的网络配置（比如是否启用了容器网络隔离，是否需要添加对应规则）。

2. 手动指定服务账户凭据（应急方案） #

如果网络问题暂时无法修复，可以通过以下两种方式手动指定凭据：

方式一：通过环境变量传递

在提交Flink作业时，通过Yarn的配置参数设置GOOGLE_APPLICATION_CREDENTIALS环境变量：

flink run -m yarn-cluster \
  -yD env.java.opts="-DGOOGLE_APPLICATION_CREDENTIALS=gs://your-bucket/path/to/service-account.json" \
  your-flink-job.jar

注意：需要把服务账户JSON文件上传到GCS（所有节点都能访问的路径），或者同步到所有Dataproc节点的本地相同路径。Google客户端库支持直接读取GCS路径的凭据文件，无需手动下载。

方式二：在代码中显式加载凭据

不推荐硬编码路径，但应急时可以使用：

import com.google.auth.oauth2.GoogleCredentials;
import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.storage.Storage;
import com.google.cloud.storage.StorageOptions;
import java.io.FileInputStream;

public class YourFlinkJob {
    public static void main(String[] args) throws Exception {
        // 加载服务账户凭据
        GoogleCredentials credentials = GoogleCredentials.fromStream(
            new FileInputStream("/path/to/service-account.json")
        );
        
        // 初始化BigQuery客户端
        BigQuery bigquery = BigQueryOptions.newBuilder()
            .setCredentials(credentials)
            .build()
            .getService();
        
        // 初始化GCS客户端
        Storage storage = StorageOptions.newBuilder()
            .setCredentials(credentials)
            .build()
            .getService();
        
        // 后续作业逻辑...
    }
}

3. 确认Dataproc服务账户权限 #

无论使用自动获取还是手动指定，都要确保服务账户拥有足够的权限：

• 对于BigQuery：至少需要roles/bigquery.dataEditor（读写数据）和roles/bigquery.jobUser（提交作业）权限
• 对于GCS：至少需要roles/storage.objectAdmin（读写对象）权限
  可以在IAM控制台中给对应的服务账户添加这些角色。

内容的提问来源于stack exchange，提问作者OptOut