如何使用Spring Batch实现同表分批读写（分页）？

针对你遇到的百万级记录批量重处理、分页时因更新updated_time导致逻辑混乱的问题，给你几个实用的解决方案：

1. 预存待处理记录的主键快照 #

任务启动时，先一次性把符合条件（触发条件+任务启动前的记录）的主键存入临时表或标记字段，后续分页仅基于这个快照处理：

• 步骤：
  1. 任务启动时记录当前时间task_start_time；
  2. 执行SQL将待处理记录的主键导入临时表：

     CREATE TEMPORARY TABLE batch_process_temp (record_id BIGINT PRIMARY KEY);
     INSERT INTO batch_process_temp(record_id)
     SELECT id FROM your_table 
     WHERE updated_time <= #{task_start_time} AND [你的触发条件];
     

  3. 分页读取临时表的record_id，关联原表获取记录进行校验和更新；
  4. 任务结束后删除临时表（临时表会话结束自动销毁，无需手动清理）。
• 优点：完全避免更新操作对分页逻辑的影响，不会漏处理或重复处理；
• 缺点：需要额外的临时存储空间，数据量极大时可能占用较多内存/磁盘。

2. 用固定时间锚点+主键有序分页替代OFFSET分页 #

放弃传统的LIMIT offset, size分页，改用主键（或唯一有序键）+固定时间锚点的方式分页：

• 步骤：
  1. 任务启动时记录task_start_time；
  2. 初始化last_processed_id = 0，循环执行查询：

     SELECT * FROM your_table 
     WHERE updated_time <= #{task_start_time} 
       AND id > #{last_processed_id}
       AND [你的触发条件]
     ORDER BY id ASC 
     LIMIT 1000; -- 每次处理1000条，可根据性能调整
     

  3. 处理完当前批次后，更新last_processed_id为当前批次最后一条记录的id；
  4. 直到查询结果为空，结束任务。
• 优点：无需额外存储，性能比OFFSET分页更优（大OFFSET会导致全表扫描），完全不受updated_time更新的影响；
• 缺点：依赖主键是有序的（比如自增ID），如果主键是无序的UUID，需要改用其他有序字段（比如创建时间+主键组合）。

3. 拆分业务更新时间与任务处理时间 #

如果业务允许调整表结构，将updated_time拆分为两个字段：

• business_updated_time：仅记录业务逻辑上的更新操作时间；
• process_updated_time：记录批量任务处理时的更新时间。
• 处理逻辑：任务启动时用business_updated_time <= #{task_start_time}作为查询条件，更新时仅修改process_updated_time和业务字段，不会影响分页查询的时间条件。
• 优点：对现有分页逻辑改动最小，符合业务语义；
• 缺点：需要修改表结构和相关业务代码，有一定改造成本。

4. Spring Batch分区并行处理 #

利用Spring Batch的**分区（Partitioning）**功能，将待处理数据按主键范围拆分多个子任务并行处理：

• 步骤：
  1. 任务启动时先查询符合条件的记录的最小和最大主键：

     SELECT MIN(id), MAX(id) FROM your_table 
     WHERE updated_time <= #{task_start_time} AND [你的触发条件];
     

  2. 将主键范围拆分为N个区间（比如每10万条一个区间）；
  3. 每个分区独立处理对应区间的记录：id BETWEEN start_id AND end_id AND updated_time <= #{task_start_time}；
  4. 各分区并行执行，互不干扰。
• 优点：可以利用多核CPU提高处理效率，每个分区的查询条件固定，不受更新操作影响；
• 缺点：需要配置Spring Batch的分区器，有一定学习成本。

内容的提问来源于stack exchange，提问作者Mariza