Kafka Connect实现单Topic消费写入多表的Sink连接器选型问题

源端连接器验证 #

你目前使用的Debezium CDC Source Connector for Postgres已经完全满足源端需求，通过topic.prefix+RegexRouter SMT等配置将多表变更路由到单个Topic、将主表逻辑键设为消息Key的方案是合理的，能保证同一条记录的变更消息按顺序进入同一个Partition，符合消费顺序要求。

Sink端可选实现方案 #

目前有两类成熟的Sink连接器可以实现单Topic多表消息自动路由写入对应目标表的需求：

方案1：Debezium JDBC Sink Connector（推荐，适配Debezium CDC消息格式） #

该连接器原生支持读取Debezium CDC消息的元数据字段，无需复杂转换即可实现表路由，核心配置如下：

connector.class=io.debezium.connector.jdbc.JdbcSinkConnector
tasks.max=2
topics=你的统一CDC Topic名称
connection.url=jdbc:postgresql://目标数据库地址:端口/库名
connection.username=目标库用户名
connection.password=目标库密码

# 核心表路由配置（无需SMT即可实现）
table.name.from.field=source.table
# 如果目标表名和源表名有前缀/后缀差异，可加配置：
# table.name.format=target_${tableName}

# 写入幂等&顺序保证配置
insert.mode=upsert
pk.mode=record_key
pk.fields=你的逻辑主键字段名
delete.enabled=true # 开启同步删除操作，可选

# 自动同步结构配置，可选
auto.create=true
auto.evolve=true

方案2：Confluent JDBC Sink Connector #

如果你用Confluent生态组件，也可以用该连接器配合SMT实现相同效果，核心配置如下：

connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=2
topics=你的统一CDC Topic名称
connection.url=jdbc:postgresql://目标数据库地址:端口/库名
connection.username=目标库用户名
connection.password=目标库密码

# 用SMT提取源表名作为目标表名
transforms=extractTableName
transforms.extractTableName.type=org.apache.kafka.connect.transforms.ExtractField$Value
transforms.extractTableName.field=source.table
table.name.format=${topic}

# 写入配置同方案1
insert.mode=upsert
pk.mode=record_key
delete.enabled=true
auto.create=true

注意事项 #

• 建议用Avro/Protobuf等带Schema的序列化方式配合Schema Registry使用，避免JSON无Schema导致的字段类型解析错误
• 需保证Debezium源端配置开启了include.schema.changes=false（如果不需要同步结构变更事件到业务Topic），避免结构事件被Sink当成普通数据写入
• 你当前将逻辑主键设为消息Key的配置可以天然保证同一条记录的变更顺序，Sink端按Partition顺序消费即可保证数据一致性

内容的提问来源于stack exchange，提问作者Stefano