配置PostgreSQL-Kafka CDC时JDBC Sink遇空键及空键Schema错误求助

错误原因分析 #

问题核心在于：Debezium对无主键的表默认不会生成消息Key，而JDBC Sink配置delete.enabled=true+pk.mode=record_key时，要求每条消息必须有非空Key；改成pk.mode=record_value后，未指定pk.fields，Sink无法识别唯一标识字段，因此报错。

可行解决方案 #

方案一：调整Debezium源连接器，为无主键表生成逻辑Key #

在Debezium源连接器配置中添加event.key.columns参数，为每个无主键表指定一组能唯一标识记录的字段作为逻辑主键，这样源连接器会将这些字段组合成消息Key输出，Sink就能正常识别。

示例配置：

# 格式：schema.table:field1,field2;schema.another_table:field3
event.key.columns=ddm.t_part_record:part_id,create_time;ddm.t_other_nopk_table:order_no,customer_id

• 无需修改数据库表结构，符合你的限制条件
• 所有表的配置集中在一个源连接器内，按schema统一管理
• 生成的Key能满足Sink的delete.enabled=true要求，删除操作也能同步

如果部分无主键表无法找到唯一字段组合，可临时用所有字段作为Key（不推荐，会增大消息体积影响性能，但能保证同步）：

event.key.columns=ddm.t_part_record:*

方案二：调整JDBC Sink连接器配置，适配无主键场景 #

如果不想修改源连接器，可按以下两种方式调整Sink：

1. 关闭删除同步：若业务允许不同步删除操作，将delete.enabled=false。此时Sink无需依赖Key即可同步插入/更新操作，但目标库不会删除源端已删除的记录。
2. 指定记录值中的主键字段：保留delete.enabled=true，设置pk.mode=record_value，同时为每个无主键表指定pk.fields。但因表数量多且字段各异，单个Sink无法统一配置，需为不同表组创建多个Sink连接器，会增加管理成本，不推荐。

批量配置技巧 #

若ddm schema下无主键表数量多且有规律（比如都包含create_time和uuid字段），可利用Debezium的通配符简化配置：

# 匹配schema下所有表，指定默认逻辑主键字段（仅对无主键表生效）
event.key.columns=ddm.*:uuid,create_time

注：该配置会对schema下所有表生效，若已有主键的表，Debezium会优先使用原生主键，不会覆盖。

内容的提问来源于stack exchange，提问作者이동비