Dataflow流写入BigQuery日分区表 查询预估有数据却无返回问题

该问题由Apache Beam 2.26版本BigQueryIO流式写入的已知缺陷导致，核心原因如下：

• Beam 2.26针对按自定义字段做时间分区的BigQuery表的流式写入逻辑存在bug：写入的数据会长期滞留在BigQuery的流式缓冲区中，无法自动提交到对应正式分区。BigQuery UI的查询预估会统计流式缓冲区的总数据量，因此会显示需要处理1.9GB数据，但缓冲区中数据的分区元数据未被正确关联，导致按分区条件过滤时匹配不到任何结果。
• 你的写入配置未显式设置流式写入的触发频率，进一步放大了该缺陷：该版本默认的自动提交逻辑对自定义分区字段的表完全失效，导致数据始终停留在缓冲区不会落盘到正式分区。

你可以通过以下SQL验证数据是否滞留缓冲区：

SELECT COUNT(*) FROM `my-project.my-dataset.my-table` 
WHERE DATE(timestamp) = "2021-10-14" 
AND _PARTITIONTIME IS NULL

如果返回结果大于0即可确认上述根因成立。

提供两种可落地的修复方案：

• 最优方案：升级Apache Beam版本至2.28.0及以上，该版本已完全修复分区提交的bug，升级后管道运行2小时内，历史滞留的缓冲区数据会自动提交到对应分区，无需额外配置修改。
• 临时兼容方案：如果暂时无法升级版本，可在现有BigQueryIO写入配置中添加显式的触发规则，强制定期提交缓冲区数据：

return BigQueryIO.<Event>write()
    .withSchema(createTableSchema())
    .withFormatFunction(event -> createTableRow(event))
    .withCreateDisposition(CreateDisposition.CREATE_NEVER)
    .withWriteDisposition(WriteDisposition.WRITE_APPEND)
    .withTimePartitioning(new TimePartitioning().setType("DAY").setField("timestamp"))
    // 新增以下两行配置
    .withMethod(BigQueryIO.Write.Method.FILE_LOADS)
    .withTriggeringFrequency(Duration.standardMinutes(10))
    .to(TABLE);

该配置会每10分钟触发一次缓冲区批量写入到正式分区，配置生效后即可正常查询最新分区的数据。

内容的提问来源于stack exchange，提问作者p13rr0m