Kafka MongoDB Sink 如何设置Mongo的_ID为Debezium主题的uuid字段
_id) 你当前配置无法满足需求的核心原因有两个:一是没有为PartialValueStrategy指定嵌套字段的读取路径,二是白名单投影规则没有覆盖到payload下的uuid字段,同时会过度过滤业务数据。按以下步骤调整即可正常运行。
核心调整逻辑
- 为
PartialValueStrategy新增专属配置,指定从嵌套路径payload.uuid读取值作为Mongo文档的_id - 修正白名单投影的范围,避免核心业务字段被过滤丢失
- 保留原有
ReplaceOneBusinessKeyStrategy写模型,确保按业务键实现upsert逻辑
具体配置修改说明
1. ID生成策略调整
原有配置仅声明使用PartialValueStrategy做ID生成,但没有指定具体从消息的哪个路径取字段。新增配置项:
"document.id.strategy.partial.projection": "payload.uuid"
这个配置会让连接器跳过外层嵌套,直接从消息value的payload.uuid路径读取对应的UUID值,作为Mongo集合的_id字段。
注意:字段路径严格按照消息的实际嵌套层级书写,否则连接器会因为找不到对应路径的字段,生成随机的ObjectId作为Mongo
_id,不符合需求。
2. 投影规则修正
原有配置的白名单投影value.projection.list: "id"存在两个问题:
- 仅允许顶层
id字段通过投影,payload.uuid被拦截,导致ID策略无法读取到UUID值 - 所有其他业务字段(包括payload下的name、uuid等)都会被过滤,最终写入Mongo的文档会严重缺失数据
调整为:
"value.projection.type": "whitelist", "value.projection.list": "payload"
调整后白名单仅保留payload对象,对象内部的所有业务子字段(id、name、uuid)都会被完整保留,不会被过滤。
3. 写模型策略保留
你当前使用的ReplaceOneBusinessKeyStrategy完全适配该场景:它会按照我们设置的业务键(即来自payload.uuid的_id)匹配集合内的文档,存在则整体替换为最新消息内容,不存在则插入新文档,无需改动。
调整后的完整配置
{ "name": "mongo-sink", "config": { "connector.class": "com.mongodb.kafka.connect.MongoSinkConnector", "tasks.max": 3, "key.converter": "org.apache.kafka.connect.json.JsonConverter", "value.converter": "org.apache.kafka.connect.json.JsonConverter", "topics": "s4farm.animal", "connection.uri": "mongodb://user:password@host:port/?authSource=database", "database": "database", "collection": "s4farm_animal", "document.id.strategy": "com.mongodb.kafka.connect.sink.processor.id.strategy.PartialValueStrategy", "document.id.strategy.partial.projection": "payload.uuid", "value.projection.list": "payload", "value.projection.type": "whitelist", "writemodel.strategy": "com.mongodb.kafka.connect.sink.writemodel.strategy.ReplaceOneBusinessKeyStrategy" } }
补充说明
调整后写入Mongo的文档结构为{_id: "f9a96ea4-3ff9-480f-bf8a-ee53a1e6e583", payload: {id:1, name:"test", uuid:"f9a96ea4-3ff9-480f-bf8a-ee53a1e6e583"}}。如果需要去掉外层payload嵌套,把内部字段提升为文档顶层,可以额外配置ReplaceField转换器实现字段层级提升,这部分调整不影响_id的生成逻辑。
内容的提问来源于stack exchange,提问作者Clayton Bonelli - Agriness

