Spring Batch未处理全部记录求助：分页与更新条件冲突

针对Spring Batch分页读取漏记、多线程处理易重复/漏处理的问题，提供几个可行方案：

1. 先锁定待处理记录，再分页读取 #

新增一个中间状态（比如STATUS='PROCESSING'），批处理启动时先批量锁定符合条件的记录：

UPDATE your_table SET STATUS = 'PROCESSING' WHERE IS_UPDATED = TRUE;

之后分页读取STATUS='PROCESSING'的记录，处理完成后再更新IS_UPDATED=FALSE和STATUS='DONE'。

• 优势：分页的数据集是固定的，不会因为处理过程中状态变更导致分页偏移，彻底避免漏读；多线程下可通过状态确保同一条记录不会被重复处理。
• 注意：如果批处理异常终止，需要有重试机制把PROCESSING状态的记录重置回IS_UPDATED=TRUE。

2. 改用游标式读取替代分页 #

放弃分页查询，使用JdbcCursorItemReader（或对应ORM实现）直接遍历符合条件的记录：

@Bean
public JdbcCursorItemReader<YourEntity> itemReader(DataSource dataSource) {
    return new JdbcCursorItemReaderBuilder<YourEntity>()
            .dataSource(dataSource)
            .sql("SELECT * FROM your_table WHERE IS_UPDATED = TRUE")
            .rowMapper(new BeanPropertyRowMapper<>(YourEntity.class))
            .build();
}

• 优势：游标基于批处理启动时的结果集，不会因为中途数据状态变更出现漏读；无需复杂的状态切换逻辑。
• 注意：多线程下需要配合PartitionStep拆分数据集，避免单游标多线程读取的冲突；数据库隔离级别建议设为READ_COMMITTED或更高，防止脏读。

3. 预取主键列表，分块处理 #

第一步先查询所有待处理记录的主键并排序：

SELECT id FROM your_table WHERE IS_UPDATED = TRUE ORDER BY id;

将主键列表存入内存（或临时表），然后按分页大小拆分主键块，每个块对应一次查询（SELECT * FROM your_table WHERE id IN (?,?)）和处理。

• 优势：分页逻辑基于固定的主键列表，完全不受数据库状态变更影响；多线程下可直接拆分主键列表分配给不同线程，实现无冲突并行处理。
• 注意：如果待处理记录量极大，内存存储主键可能溢出，此时可改用临时表存储主键。

4. 优化分页查询逻辑 #

保留分页，但调整查询方式，基于全局主键偏移而非当前符合条件的记录数：
每次分页先获取主键范围：

SELECT id FROM your_table WHERE IS_UPDATED = TRUE ORDER BY id LIMIT 2 OFFSET ?;

再根据主键查询完整记录：

SELECT * FROM your_table WHERE id IN (?,?);

处理完成后更新状态。

• 优势：无需新增状态字段，改造量小；分页偏移基于初始符合条件的主键列表，不会漏读。
• 注意：批处理过程中如果有新的记录被标记为IS_UPDATED=TRUE，会被纳入后续分页，若不需要这种情况，可在批处理开始时创建数据快照（比如用数据库的临时表复制初始数据集）。

内容的提问来源于stack exchange，提问作者Ooze