MongoDB变更流可回溯时长及数据复制是否需手动回填咨询

变更流可回溯的历史数据时长 #

变更流的回溯能力完全依赖MongoDB的oplog（操作日志）：

• oplog是循环写入的日志集合，当存储空间耗尽时，最早的日志条目会被新操作覆盖。
• 可回溯的历史时长由oplog的配置大小和集群写入频率共同决定：写入量小、oplog配置越大，能回溯的历史就越久；反之只能覆盖近期变更。
• 默认配置下，MongoDB的oplog通常保留约24小时的操作日志，但这不是固定值，具体时长需结合实际写入负载判断。

跨位置数据复制的正确流程 #

变更流无法自动完成全量数据回填，它仅能捕获oplog中存在的增量变更，因此正确操作步骤为：

1. 先执行一次性全量数据同步：将源库现存的所有数据复制到目标库，保证两端初始数据一致。
2. 初始化变更流：以全量同步完成的时间点为起点，启动变更流监听后续增量变更，实现后续数据的实时同步。

• 若跳过全量同步直接启动变更流，会丢失oplog已覆盖的历史变更以及初始存量数据，导致目标库数据不完整。

内容的提问来源于stack exchange，提问作者Ztyx