Java API调用BigQuery作业耗时过长问题及优化咨询

问题背景 #

我已对i_col1、p_col1和p_col1Id字段做了聚类处理，同一查询在Google BigQuery控制台执行仅需1秒，但通过Java的com.google.cloud.bigquery包调用时，waitFor()方法耗时近6.5秒，仅返回1922行数据，导致前端表格加载卡顿。

查询语句 #

WITH d as (select p_col1, p_col2 as col_num from sit.table3)
SELECT a.col1, a.col2, b.test_col1, c.col_test1 FROM sit.table1 a
inner join sit.table2 b
 using (i_col1) 
inner join sit.table3 c
 using (p_col1) 
left join d on a.p_col1Id=d.p_col1 where ( trDate between '2023-05-25' and '2023-05-25' );

Java调用代码 #

JobId jobId = JobId.of(UUID.randomUUID().toString());

JobInfo jobInfo = JobInfo.newBuilder(jobConfiguration).setJobId(jobId).build();
Long startTime = DateTimeUtils.currentTimeMillis();
Job job = bigQuery.create(jobInfo).waitFor();
log.info("------------Total time to create job: ----------"+(System.currentTimeMillis() - startTime));

执行日志 #

[2023-05-30_17:46:00.697] [main] INFO  c.h.g.p.o.s.t.BQReadService - ------------Total time to create job: ----------6572 

优化方案 #

一、Java API调用优化 #

• 改用同步查询接口：对于小结果集（如1922行），无需通过创建Job的异步方式执行，直接使用bigQuery.query(QueryJobConfiguration)方法，该方法会同步等待查询完成并返回结果，减少Job调度和状态轮询的开销。示例代码：

  QueryJobConfiguration queryConfig = QueryJobConfiguration.newBuilder(yourQuery)
      .build();
  Long startTime = DateTimeUtils.currentTimeMillis();
  QueryResponse response = bigQuery.query(queryConfig);
  log.info("Query time: {}", System.currentTimeMillis() - startTime);
  

• 复用BigQuery客户端实例：确保BigQuery客户端是单例模式，避免每次查询都创建新客户端（创建客户端会建立连接池、初始化配置，增加额外耗时）。
• 升级客户端依赖版本：检查com.google.cloud:google-cloud-bigquery的版本，使用最新稳定版，旧版本可能存在性能瓶颈或bug。
• 确认查询优先级：在QueryJobConfiguration中确保设置为INTERACTIVE优先级（默认值），保证查询获得足够资源调度优先级。

二、查询语句优化 #

• 移除无用的CTE和Join：原查询中CTE d 以及对应的left join d在最终SELECT中未被引用，完全可以删除，减少不必要的表扫描和Join操作。简化后的查询：

  SELECT a.col1, a.col2, b.test_col1, c.col_test1 
  FROM sit.table1 a
  INNER JOIN sit.table2 b USING (i_col1) 
  INNER JOIN sit.table3 c USING (p_col1) 
  WHERE a.trDate BETWEEN '2023-05-25' AND '2023-05-25';
  

• 明确过滤字段的表别名：原查询WHERE中的trDate未指定所属表，添加表别名（如a.trDate），避免BigQuery解析时的歧义，帮助生成更高效的执行计划。
• 优化聚类/分区策略：当前聚类字段为i_col1、p_col1、p_col1Id，但查询的过滤条件是trDate，未用到聚类字段，导致聚类优势无法发挥。如果trDate是常用过滤条件，可以：
  • 将trDate加入聚类键（需要重新聚类表）；
  • 对表按trDate做日期分区（更适合时间范围过滤场景）。
• 对比执行计划排查差异：在BigQuery控制台执行查询时查看「Execution Details」，确认是否存在全表扫描、数据倾斜等问题；同时通过Java API获取Job的执行统计信息（job.getQueryResults().getExecutionStatistics()），对比控制台和API执行的计划是否一致，排查是否存在配置差异。

内容的提问来源于stack exchange，提问作者Kammy