Datastream回填至BigQuery后数据查询行数异常问题咨询

结论 #

这种行为在该预览阶段的Datastream MySQL至BigQuery特性下是正常的，属于当前版本的设计限制。

原因分析 #

1. Datastream回填完成的定义：Datastream显示回填完成，仅代表所有回填数据已经成功写入BigQuery的底层存储系统，但并不等同于数据立刻对查询可见。
2. 最大数据延迟的影响：你设置的8小时最大数据延迟，会直接影响BigQuery端数据的可见性逻辑。在该预览特性中，为了保证回填数据与后续增量流数据的一致性，系统会将回填数据的查询可见性延迟至最大延迟窗口结束后，避免出现部分数据提前可见、导致查询结果不一致的情况。
3. __TABLES__与COUNT(*)的差异：SELECT * FROM mydataset.__TABLES__读取的是BigQuery存储层的元数据统计（实际写入的行数和大小），而COUNT(*)查询依赖的是查询引擎标记为可查询的数据集——在延迟窗口内，部分回填数据还未被标记为可查询，因此结果行数偏低。

补充说明 #

由于该特性目前处于预览阶段，这类与正式版不同的行为属于预期内的限制。如果需要即时查询回填数据，可尝试暂时调整最大数据延迟参数（但可能影响增量流的一致性），或等待预览版本更新优化该逻辑。

内容的提问来源于stack exchange，提问作者Firas Dhaha