MongoDB至BigQuery的DataFlow任务未完整传输数据，求排查指引

1. PubSub 订阅确认与消息生命周期问题 #

• 默认订阅的自动确认机制可能提前标记消息为已处理：如果DataFlow还没完成BigQuery写入，PubSub就自动确认了消息，后续若DataFlow重启，这部分消息会直接丢失；反之，如果手动确认逻辑遗漏，未确认的消息会重复投递，但也可能因重试超时被丢弃。
• 订阅消息保留时长不足：若Python发布消息的速度远超DataFlow处理速度，旧消息可能被PubSub自动清理，导致部分数据没机会被处理。

2. Python 数据发布脚本的逻辑漏洞 #

• MongoDB读取逻辑不完整：比如未做全量遍历、分页参数错误（如skip/limit搭配不当），或读取时未指定固定排序规则，导致每次运行只读取到随机的部分数据。
• 消息发布异常未处理：网络波动或PubSub限流导致部分消息发布失败，但脚本未加重试逻辑，这部分数据直接丢失，且失败的消息是随机的，所以每次缺失的内容不同。
• 无读取偏移量记录：每次运行脚本都从头读取MongoDB数据，若之前的数据已被处理，但未记录上次读取的位置（如最后一条文档的_id），会导致重复读取或漏读，表现为传输数据随机变化。

3. DataFlow 模板配置与运行问题 #

• 窗口/触发器设置不合理：Mongo to BQ CDC模板若使用了滑动窗口或会话窗口，部分数据可能因窗口未满足触发条件而延迟写入，看起来像是未传输；或者触发器的触发间隔过长，导致部分数据未及时处理。
• 资源与并行度限制：DataFlow Worker数量不足或资源配额不够，导致消息处理积压在订阅中，查看时仅能看到已处理的部分；若Worker意外崩溃，未处理的消息会重新投递，但重试失败的消息会被丢弃，造成数据缺失。
• BigQuery写入批次配置问题：批次设置过大时，整批数据写入失败且未重试，导致整批丢失；批次过小时，部分小批次未达到触发条件，暂时未写入BigQuery。

4. MongoDB 数据读取一致性问题 #

• 未使用快照读：读取过程中MongoDB数据发生变更（插入、更新），导致每次读取的数据集不一致，自然传输的数据部分不同。
• 游标中断未处理：读取MongoDB时游标意外断开（如网络中断、超时），脚本未重新恢复游标，导致只读取到部分数据，且中断位置随机。

5. 消息序列化/反序列化不兼容 #

• Python脚本序列化格式与DataFlow模板预期不符：比如脚本发JSON格式，但模板期望BSON；或数据中包含特殊字符、嵌套结构解析错误，导致DataFlow直接丢弃这些无法解析的消息，且失败的消息是随机的。

内容的提问来源于stack exchange，提问作者Rashida