如何确保多MongoDB表写入同一Kafka Topic时同键数据入同分区

完全可以实现这个需求，核心是统一不同表的消息键（Key）生成逻辑，让相同业务标识的ID经过一致的哈希计算后映射到同一Kafka分区。以下是具体实现方案：

1. 利用单消息转换（SMT）统一消息键 #

MongoDB-Kafka连接器支持通过SMT修改消息的Key，你可以组合现有SMT或自定义SMT，将不同表的键列统一为标准化的消息Key：

• 针对customer表，提取CustomerID作为消息Key的核心值
• 针对address表，提取AddressID作为消息Key的核心值
• 将这些ID转换为统一格式（比如字符串），作为最终的消息Key

示例配置片段（组合内置SMT实现）：

# customer表连接器配置
transforms=extractCustomerId,standardizeKey
transforms.extractCustomerId.type=org.apache.kafka.connect.transforms.ExtractField$Key
transforms.extractCustomerId.field=CustomerID
transforms.standardizeKey.type=org.apache.kafka.connect.transforms.ReplaceField$Key
transforms.standardizeKey.renames=CustomerID:businessId

# address表连接器配置
transforms=extractAddressId,standardizeKey
transforms.extractAddressId.type=org.apache.kafka.connect.transforms.ExtractField$Key
transforms.extractAddressId.field=AddressID
transforms.standardizeKey.type=org.apache.kafka.connect.transforms.ReplaceField$Key
transforms.standardizeKey.renames=AddressID:businessId

2. 依赖Kafka默认分区器保证分区稳定 #

Kafka默认的DefaultPartitioner会根据消息Key的哈希值分配分区，只要同一业务ID（比如CustomerID=12345、AddressID=54321）对应的消息Key值稳定不变，就会始终被分配到同一个分区，完全满足你要的顺序保障需求。

3. 多表独立配置连接器 #

为每个MongoDB表创建独立的连接器配置，所有连接器指向同一个Kafka Topic，各自通过对应的SMT处理键列即可。

关键注意事项 #

• 如果需要更复杂的键映射逻辑（比如关联不同表的业务ID），可以基于Kafka Connect的SMT接口自行开发自定义转换类
• 确保所有连接器使用相同的分区策略，避免自定义分区器导致的一致性问题
• 上线前务必测试：打印消息Key和对应的分区号，验证同一ID是否始终进入相同分区

内容的提问来源于stack exchange，提问作者TestUser