使用Kafka JDBC Connector做CDC时如何指定列识别真实数据变更

完全可以通过配置实现仅基于指定业务列检测数据变更，绕开对方团队全量重载时更新load_time带来的误触发。

问题根因 #

Kafka JDBC Source Connector默认的增量同步逻辑，是通过绑定指定列的值和上次记录的偏移量对比，判断行是否需要同步。当前的误触发本质是因为绑定了load_time这个和业务变更无关的系统列——对方每日全量重载时强制更新这个列的值，就会被连接器判定为数据变更。

对应配置方案 #

1. 存在业务专属更新时间列的场景 #

如果目标表本身有仅随业务实际变更更新的时间列（该列不会被对方的全量重载逻辑修改值），直接替换增量检测的绑定列即可：

# 替换为实际的业务时间列名
timestamp.column.name = biz_modify_time

注意：该列必须设置非空约束，否则连接器的偏移值读取会出现异常。配置完成后，连接器仅会基于该业务时间列的值判断是否同步，完全感知不到load_time字段的变化。

2. 无业务时间列，需基于多业务字段判断的场景 #

如果没有可复用的业务时间列，需要切换为自定义查询模式，完全自主控制查询和检测逻辑：

# 开启自定义查询模式
mode = custom
# 仅选取需要的业务列，完全排除load_time等系统生成列
query = SELECT id, biz_order_no, biz_amount, biz_status FROM fact_biz_table WHERE id > ${offset}

这种模式下，连接器的偏移跟踪完全基于查询返回的结果集，不会触发和load_time相关的变更判断。

针对全量重载场景的优化 #

对方如果是通过TRUNCATE后全量重插的方式做数据重载（哪怕业务列值完全不变，物理行发生了变更），可以通过两个配置进一步减少不必要的同步：

• 自定义查询时增加按业务主键分组的逻辑，仅当业务列实际值和上次同步结果有差异时才返回结果，绕开物理行变更的影响。
• 配置pk.mode = record_value，指定连接器仅基于选定的业务字段判断行的唯一性，不要使用数据库自增物理id、load_time这类非业务字段作为主键。

• 绝对不要将对方管控的load_time字段配置到incrementing.column.name或timestamp.column.name中，该字段的更新和业务变更无关联，必然会触发无意义的全量同步。
• 自定义查询中用于偏移判断的列，需要在数据库层面建立合适的索引，避免连接器轮询时触发全表扫描，影响源库性能。

内容的提问来源于stack exchange，提问作者Victor