如何从MongoDB Kafka Connector接收文档删除事件？

检查核心配置参数 #

• 确认publish.full.document.only设置：如果该参数设为true，连接器会仅发送包含fullDocument的事件（创建、更新），删除事件因无fullDocument会被直接丢弃。需将其设为false：

  publish.full.document.only=false
  

• 配置删除前文档捕获：要获取删除事件对应的完整文档内容，需设置change.stream.full.document.before.change参数，可选值：
  • whenAvailable：仅当MongoDB能提供时返回删除前的文档（适合大多数场景）
  • required：强制要求返回删除前文档，否则中断变更流
    配置示例：

  change.stream.full.document.before.change=whenAvailable
  

排查变更流过滤条件 #

检查连接器配置中的pipeline参数，确保没有通过$match过滤掉delete类型的操作。比如以下错误配置会直接丢弃删除事件，需移除或修改：

pipeline=[{"$match": {"operationType": {"$ne": "delete"}}}]

验证权限与版本兼容性 #

• MongoDB权限：确保连接器使用的MongoDB账号拥有changeStream权限，该权限是读取变更流所有事件（包括删除）的基础。
• 版本要求：MongoDB 3.6及以上才支持变更流功能，若使用更低版本需升级；同时确认MongoDB Kafka连接器版本与MongoDB服务器版本兼容。

检查事件消费逻辑 #

删除事件的结构与创建/更新事件存在差异：

• 创建/更新事件的有效数据在fullDocument字段
• 删除事件的有效数据（若配置了上述参数）在fullDocumentBeforeChange字段，且operationType字段值为delete
  确保消费端代码没有仅读取fullDocument字段，需通过判断operationType来区分处理不同类型的事件。

内容的提问来源于stack exchange，提问作者Arpit Shukla