JDBC Kafka Connector不支持递减主键的问题及替代方案咨询

不少人碰到过Confluent JDBC Kafka Connector不支持递减主键的问题，尤其是在没有时间戳字段的场景下。结合你用Spring Boot做每日批量同步100万条数据的需求，给你几个可行的替代方案：

1. 基于Spring Boot自定义批量读取逻辑（最贴合当前场景） #

既然已经在开发Spring Boot应用，完全可以自己实现主键递减的增量读取逻辑：

• 维护同步位点：把每次读取到的最小主键值（因为主键递减，每次取比上次更小的ID）存在外部存储里，比如Redis、单独的数据库同步状态表，或者配置中心。首次同步时可以先查Oracle表的MIN(id)作为初始位点参考，或者用一个极大值（比如999999999）拉取全量数据。
• 分批次读取：避免一次性加载100万条数据导致内存溢出，用Oracle分页语法分批次查询：

  SELECT * FROM your_table 
  WHERE id < :last_min_id 
  ORDER BY id DESC 
  FETCH NEXT 10000 ROWS ONLY
  

  每次处理完一批后，更新同步位点为当前批次的最小ID。
• 处理删除数据：如果业务有删除操作，要么给表加逻辑删除标记（比如is_deleted），同步时过滤已删除数据；要么定期做全量比对（比如每周一次），补删Kafka里的过期数据。

2. 改造JDBC Kafka Connector的自定义查询模式 #

如果不想放弃Connector，可以通过自定义查询绕过它的默认增量逻辑：

• 配置Connector的query参数，手动写SQL实现递减主键的增量读取，同时让Connector维护同步位点：

  connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
  tasks.max=1
  connection.url=jdbc:oracle:thin:@your-oracle-host:1521/your-db
  connection.user=your-user
  connection.password=your-pass
  query=SELECT * FROM your_table WHERE id < ${offset.id} ORDER BY id DESC
  offset.storage.topic=connect-offsets
  offset.flush.interval.ms=60000
  

• 初始同步时，需要手动往connect-offsets主题写入初始offset（比如设置id为表的最大主键值），后续Connector会自动更新这个offset。

3. 给Oracle表添加辅助同步字段（如果允许修改数据库） #

这是最省心的方案，只要能修改表结构：

• 新增一个自增序列字段或者自动更新的时间戳字段：

  -- 新增自增序列字段（Oracle 12c+支持）
  ALTER TABLE your_table ADD sync_seq NUMBER GENERATED ALWAYS AS IDENTITY START WITH 1 INCREMENT BY 1;
  
  -- 或者新增自动更新的时间戳字段
  ALTER TABLE your_table ADD last_sync_ts TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP;
  

• 之后就可以用JDBC Connector的标准增量模式，基于新增的sync_seq或last_sync_ts同步数据，完全避开原有的递减主键问题。

4. 使用Debezium Oracle Connector（CDC实时同步） #

如果业务允许从Oracle的变更日志（CDC）同步数据，Debezium是更好的选择：

• Debezium会读取Oracle的归档日志或XStream，捕获所有插入、更新、删除操作，不需要依赖主键的增减方向或时间戳字段。
• 它可以实时同步数据，也可以配置批量处理模式，适合需要准实时同步的场景。
• 注意：需要DBA配合开启Oracle的归档日志，配置LogMiner或XStream权限，这一步有一定运维成本。

内容的提问来源于stack exchange，提问作者Arar