Debezium与Confluent JDBC连接器如何跳过无主键表？

你提到的跳过无主键表操作的需求完全可以实现，以下是对应方案的具体实现方式：

方案1：从源端（Debezium）排除无主键表 #

直接让Debezium不捕获这些无主键表的变更，从根源上避免Sink端处理它们。修改Debezium PostgreSQL连接器的配置，添加table.exclude.list参数，列出所有无主键的表：

"table.exclude.list": "public.contex_str_dealer_branch_address,public.other_no_pk_table"

（注：表名格式要和Debezium捕获的表名一致，通常是schema.table的形式）

方案2：从Sink端（Confluent JDBC）排除无主键表 #

如果不想修改源端配置，也可以让Sink连接器直接跳过这些表的处理。修改JDBC Sink的配置，添加table.exclude.list参数：

"table.exclude.list": "contex_str_dealer_branch_address,other_no_pk_table"

这种方式下Debezium依然会捕获无主键表的变更，但Sink会忽略这些表的数据，不会触发报错。

方案3：分表配置主键模式（同步无主键表） #

如果需要同步这些无主键表，可以通过表级配置覆盖实现差异化处理：

1. 保留全局的pk.mode: "record_key"配置（针对有主键的表）
2. 为无主键的表单独设置pk.mode和pk.fields，用表的全部列（或唯一标识列组合）作为主键：

"pk.mode": "record_key",
"pk.mode.contex_str_dealer_branch_address": "record_value",
"pk.fields.contex_str_dealer_branch_address": "address_id,branch_code,dealer_id"

注意：必须确保指定的列组合能唯一标识每一行，否则upsert操作会出现数据覆盖异常；如果表列较多，这种配置会比较繁琐。

总结 #

如果只是想跳过无主键表的处理，优先选方案1或方案2，配置简单且不会产生无用的Kafka消息；如果需要同步无主键表，再考虑方案3。

内容的提问来源于stack exchange，提问作者Stavros Koureas