Java/Spring API如何配置连接多个BigQuery数据集

结论 #

单个Spring API完全支持对接多个BigQuery数据集。Spring Cloud GCP提供的默认spring.cloud.gcp.bigQuery.*配置仅会自动装配单个BigQuery操作实例，你只需要手动扩展配置多套自定义BigQuery实例即可实现需求。

实现步骤 #

1. 调整配置文件 #

在现有配置基础上新增第二套数据集的配置项，示例如下（YAML格式）：

# 原有默认BigQuery数据集配置，可保留用于生成默认操作实例
spring:
  cloud:
    gcp:
      bigquery:
        project-id: 你的GCP项目ID
        dataset-name: 已有数据集名称
        credentials:
          location: classpath:默认服务账号密钥文件路径

# 新增第二套BigQuery数据集自定义配置
custom:
  gcp:
    bigquery:
      second-dataset:
        project-id: 第二套数据集所属GCP项目ID # 同项目可和上面配置一致
        dataset-name: 新数据集名称
        credentials-location: classpath:第二套服务账号密钥文件路径 # 权限相同可复用默认密钥

2. 编写多实例配置类 #

手动注册多套BigQueryTemplate Bean，通过Bean名称区分不同数据集的操作实例：

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.spring.bigquery.core.BigQueryTemplate;
import com.google.auth.oauth2.GoogleCredentials;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Primary;
import org.springframework.core.io.ResourceLoader;
import java.io.IOException;

@Configuration
public class MultiBigQueryConfig {

    // 注册默认数据集的BigQuery客户端，标注@Primary作为优先注入的默认实例
    @Primary
    @Bean("defaultBigQueryClient")
    public BigQuery defaultBigQueryClient(
            @Value("${spring.cloud.gcp.bigquery.project-id}") String projectId,
            @Value("${spring.cloud.gcp.bigquery.credentials.location}") String credentialPath,
            ResourceLoader resourceLoader) throws IOException {
        GoogleCredentials credentials = GoogleCredentials.fromStream(
                resourceLoader.getResource(credentialPath).getInputStream()
        );
        return BigQueryOptions.newBuilder()
                .setProjectId(projectId)
                .setCredentials(credentials)
                .build()
                .getService();
    }

    @Primary
    @Bean("defaultBigQueryTemplate")
    public BigQueryTemplate defaultBigQueryTemplate(
            @Qualifier("defaultBigQueryClient") BigQuery defaultClient,
            @Value("${spring.cloud.gcp.bigquery.dataset-name}") String datasetName) {
        return new BigQueryTemplate(defaultClient, datasetName);
    }

    // 注册第二套数据集的BigQuery客户端
    @Bean("secondBigQueryClient")
    public BigQuery secondBigQueryClient(
            @Value("${custom.gcp.bigquery.second-dataset.project-id}") String projectId,
            @Value("${custom.gcp.bigquery.second-dataset.credentials-location}") String credentialPath,
            ResourceLoader resourceLoader) throws IOException {
        GoogleCredentials credentials = GoogleCredentials.fromStream(
                resourceLoader.getResource(credentialPath).getInputStream()
        );
        return BigQueryOptions.newBuilder()
                .setProjectId(projectId)
                .setCredentials(credentials)
                .build()
                .getService();
    }

    @Bean("secondBigQueryTemplate")
    public BigQueryTemplate secondBigQueryTemplate(
            @Qualifier("secondBigQueryClient") BigQuery secondClient,
            @Value("${custom.gcp.bigquery.second-dataset.dataset-name}") String datasetName) {
        return new BigQueryTemplate(secondClient, datasetName);
    }
}

3. 业务代码中使用不同数据集实例 #

通过@Qualifier注解指定要注入的BigQueryTemplate，即可操作对应数据集：

import com.google.cloud.spring.bigquery.core.BigQueryTemplate;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Service;

@Service
public class BigQueryService {
    // 注入默认数据集操作实例，不加@Qualifier默认注入@Primary标注的实例
    private final BigQueryTemplate defaultTemplate;
    // 注入第二套数据集操作实例
    private final BigQueryTemplate secondDatasetTemplate;

    public BigQueryService(BigQueryTemplate defaultTemplate,
                           @Qualifier("secondBigQueryTemplate") BigQueryTemplate secondDatasetTemplate) {
        this.defaultTemplate = defaultTemplate;
        this.secondDatasetTemplate = secondDatasetTemplate;
    }

    // 调用对应实例的方法即可操作不同数据集
}

注意事项 #

• 若多个数据集属于同一个GCP项目、使用同一套服务账号权限，可复用同一份客户端配置，仅需为不同BigQueryTemplate指定不同的datasetName即可，无需重复创建BigQuery客户端实例。
• 如需对接更多数据集，按照上述逻辑新增对应配置项和Bean实例即可，无数量限制。

内容的提问来源于stack exchange，提问作者MrNierda