MongoDB Kafka Connect ChangeStreamHandler不支持truncatedArrays

这个现象既不是业务配置错误，也不是靠调整源端MongoDB参数就能解决的问题，属于MongoDB Kafka Sink Connector旧版本的已知版本兼容问题。
从MongoDB 6.0版本开始，变更流的update类型事件的updateDescription结构中新增了truncatedArrays字段，用于记录更新操作里被执行截断处理的数组信息。你当前使用的Sink Connector版本的ChangeStreamHandler逻辑只适配了MongoDB 6.0之前的变更流格式，仅识别updatedFields、removedFields两个合法字段，代码里做了严格的字段校验，遇到未知字段就会抛出存在数据丢失风险的异常，直接终止事件处理，和你看到的报错完全匹配。
MongoDB服务端本身没有提供配置项可以关闭变更流中truncatedArrays字段的返回，不管是改源端数据库参数还是Source Connector的基础配置，都没法让这个字段从事件里消失。

• 优先选择升级Sink Connector版本：将MongoDB Kafka Sink Connector升级到1.8.0及以上正式版本，官方从这个版本开始正式适配MongoDB 6.0+的变更流格式，原生支持truncatedArrays字段的解析处理，升级后不需要修改现有CDC配置就能正常同步update事件，没有数据一致性风险，是最稳妥的方案。
• 临时应急方案（没法立即升级时用）：在Source Connector层配置单消息转换（SMT）逻辑，在消息投递到Kafka前过滤掉所有事件中updateDescription.truncatedArrays字段。要注意如果你的业务场景里存在对数组执行$push搭配$slice、或者直接调用数组截断类操作的情况，这个方案会导致目标端没法正确同步这部分变更，存在两端数据不一致的可能，只适合短期过渡使用。

内容的提问来源于stack exchange，提问作者Ambuj Mehra