Mongo分片集群oplog工作原理及Kafka Connect连接器异常咨询

分片集群的oplog结构 #

• MongoDB分片集群中，每个分片都是独立的副本集，每个副本集都拥有自己独立的oplog。
• 单个分片的oplog仅记录该分片上的数据变更操作，集群层面不存在统一的全局oplog。

关于ChangeStreamHistoryLost异常的原因 #

当你使用指向mongos的常规Mongo URI运行连接器时，连接器会尝试创建跨分片的变更流，这种模式下需要协调所有分片的oplog读取进度：

• MongoDB的oplog是环形日志，当oplog写满后会覆盖最旧的条目。如果某个分片的oplog被清理时，连接器还未处理完该分片上的旧变更，就会触发ChangeStreamHistoryLost异常——因为连接器无法再获取到已被覆盖的历史变更记录。
• 而给每个分片单独创建连接器时，每个连接器直接连接对应分片的副本集，仅处理该分片的oplog：
  • 每个分片的oplog清理是独立的，只要你的oplog大小配置合理，且连接器消费速度能跟上分片的变更频率，就不会出现历史变更被覆盖的情况，因此不会触发该异常。

内容的提问来源于stack exchange，提问作者Craig Nelson