修改Mongo Debezium源连接器配置后复用Offset的技术咨询

可以实现原集合沿用原有Offset、新增集合从初始状态同步的需求，具体逻辑和操作如下：

• 核心原理：Debezium MongoDB的offset是按「数据库.集合」的命名空间维度独立存储的，每个命名空间对应专属的resumeToken。原集合sample_mflix.movies的offset记录会保存在connect-offset中不受影响，新增的集合因为没有历史offset记录，会自动触发初始同步流程。

• 操作步骤：

  1. 停止当前运行的Debezium MongoDB源连接器
  2. 修改连接器配置，在collection.include.list参数中追加新增的集合（比如改为sample_mflix.movies,sample_mflix.new_collection）
  3. 重启连接器

• 同步行为说明：

  • 原集合sample_mflix.movies：重启后连接器会读取connect-offset中已有的resumeToken，直接从断点位置开始增量同步
  • 新增集合：连接器会先执行全量快照同步该集合的现有数据，完成后再从快照结束的位置开始后续的增量同步

内容的提问来源于stack exchange，提问作者Ritik