BigQuery Dry Run数据处理量估算差异过大问题咨询

你遇到的核心情况是：同一数据集无数据增减的前提下，不同时间执行相同查询的Dry Run估算字节数差异极大；且使用FOR SYSTEM_TIME AS OF的时间旅行查询，估算值远高于同条件的普通查询。

主要原因有这几点：

• 分区/聚类表的元数据刷新：如果表是分区或聚类表，即便实际数据量没变化，BigQuery的分区统计信息等元数据可能在一周内完成了刷新。Dry Run的估算完全依赖元数据，旧元数据可能不够精准（比如默认按全表比例估算），而更新后的元数据能让优化器准确判断需要扫描的具体分区或数据范围，直接导致估算值大幅降低。
• 时间旅行查询的估算逻辑限制：使用FOR SYSTEM_TIME AS OF指定历史时间点时，查询优化器无法复用当前最新的元数据优化估算逻辑。它需要匹配指定时间点的表状态，此时会 fallback 到更保守的全表扫描估算方式，哪怕实际数据和当前一致，也会给出远高于普通查询的估算值。
• 查询优化器版本迭代：BigQuery的查询优化器会持续更新，一周内可能推送了新的版本。新版本对查询的估算逻辑做了优化，能更精准地识别过滤条件、减少不必要的扫描范围，所以新的Dry Run估算结果更贴近实际，和旧版本的估算值产生明显差异。

内容的提问来源于stack exchange，提问作者Filip Hoffmann