Debezium是否支持将多表变更消息统一写入同一个Kafka Topic

该需求完全可以实现，Debezium 支持通过内置的消息转换（SMT）能力将多张表的变更事件统一发送到同一个 Kafka Topic，无需依赖额外组件，可直接通过连接器配置完成。

常用实现方式：使用 RegexRouter 单消息转换 #

这是最简便的实现方案，通过 Kafka Connect 内置的 RegexRouter 转换规则，将默认生成的多表 Topic 全部重定向到你指定的统一 Topic：

1. 在 Debezium 连接器的配置文件中增加以下配置：

# 声明转换规则名称
transforms=routeToUnifiedTopic
# 指定转换类型为正则路由
transforms.routeToUnifiedTopic.type=org.apache.kafka.connect.transforms.RegexRouter
# 匹配所有默认生成的Topic（默认格式为${topic.prefix}.${库名}.${表名}），可根据需求调整匹配范围
transforms.routeToUnifiedTopic.regex=(.*)
# 替换为你自定义的统一Topic名称，示例为unified_cdc_topic
transforms.routeToUnifiedTopic.replacement=unified_cdc_topic

2. 如果你只需要将指定部分表的事件路由到统一Topic，调整正则匹配规则即可，示例如下：

# 仅匹配前缀为my_cdc、库为biz下的user、order、goods三张表的事件
transforms.routeToUnifiedTopic.regex=^my_cdc\\.biz\\.(user|order|goods)$
transforms.routeToUnifiedTopic.replacement=unified_biz_cdc_topic

注意事项 #

• 事件区分：统一Topic内的不同表事件可通过消息体的source字段区分，该字段自带库名、表名、操作类型等元数据，不影响消费侧的逻辑判断
• 顺序保证：如果需要保证同一张表同主键的事件消费顺序，不要修改默认的消息Key生成规则，Debezium会自动将库名+表名+主键作为消息Key，保证同主键事件路由到同一个分区
• 性能配置：统一Topic的分区数需要根据全量事件的吞吐量设置合理值，避免单分区性能瓶颈

内容的提问来源于stack exchange，提问作者rm12345