Google BigQuery Java客户端分页未返回指定批量数求助

我通过Java客户端执行Google BigQuery查询，设置每页返回50000条数据，但除第一页外，后续分页返回的批量数为随机值，请问这是什么原因？

代码示例 #

var queryConfig = QueryJobConfiguration.newBuilder(query)
                .setWriteDisposition(JobInfo.WriteDisposition.WRITE_TRUNCATE)
                .setDestinationTable(tableId)
                .setAllowLargeResults(true)
                .build();

JobId jobId = JobId.of(UUID.randomUUID().toString());
Job queryJob = bigquery.create(JobInfo.newBuilder(queryConfig).setJobId(jobId).build());
TableResult results = queryJob.getQueryResults(BigQuery.QueryResultsOption.pageSize(50000));

//First Page
results
        .getValues()
        .forEach(row -> {
            //System.out.println(row);
            //some job
        });


long i = 0;
long count = 0;

while (results.hasNextPage()) {
    logger.info("Paginated result size: {} in page {}", results.getTotalRows(), results.getNextPageToken());
    results = results.getNextPage();
    count += results.getValues().spliterator().getExactSizeIfKnown();
    results
            .getValues()
            .forEach(row -> {
                //System.out.println(row);
                //some job
            });
    logger.info("iteration {}. Progress: {} / {}", i, count, results.getTotalRows());
    i++;
}

日志信息 #

iteration 0. Progress: 38720 / 158226305
iteration 1. Progress: 69091 / 158226305
iteration 2. Progress: 88977 / 158226305
iteration 3. Progress: 114797 / 158226305
...

原因分析 #

• pageSize是请求上限而非强制返回值：BigQuery服务端不会严格按照你设置的50000条返回，这个参数只是告诉服务端"最多返回这么多条"，实际返回行数会受数据存储分片、系统负载等影响自动调整。
• 结果写入目标表后的存储特性：当你用setDestinationTable将查询结果写入表时，数据会以BigQuery的内部分片格式存储，分页读取时服务端会按这些分片块返回数据，分片大小不一定和pageSize匹配，导致后续页行数波动。
• 行数统计方法不准确：getValues().spliterator().getExactSizeIfKnown()无法保证获取真实的当前页行数，因为TableResult的行数据是延迟加载的，这个方法返回的可能是预估数值，让日志里的进度看起来行数随机。

解决建议 #

• 放弃依赖pageSize的固定返回条数，在遍历行数据时自行统计数量，达到你需要的批量大小再执行批量操作。
• 改用TableResult.iterateAll()遍历所有行，避免手动分页的麻烦，同时在遍历过程中控制批量处理的规模。

内容的提问来源于stack exchange，提问作者erondem