Spring Batch同Chunk内重复项如何标记为更新而非插入？

问题根源在于commit-interval=1000时，Chunk内的插入操作在commit前不会写入数据库，导致Processor查询数据库时无法感知同Chunk内已标记为插入的项，后续重复项会被误判为插入。以下是无需将commit-interval设为1的解决方案：

方案1：在Processor中维护Chunk级内存缓存 #

在Processor内部维护一个缓存集合，跟踪当前Chunk内已标记为插入的ItemCode，处理每一项时优先检查缓存：

• 若缓存中存在该ItemCode，直接标记为更新
• 若缓存中不存在，再查询数据库，根据结果标记操作类型，同时将插入类型的ItemCode加入缓存
• 利用StepListener在Step前后初始化和清理缓存，避免跨Chunk污染

示例代码：

@StepScope
public class CachingItemProcessor implements ItemProcessor<YourItem, YourItem>, StepExecutionListener {

    private Set<String> insertedItemCodes;

    @Override
    public void beforeStep(StepExecution stepExecution) {
        // 初始化Chunk级缓存
        insertedItemCodes = new HashSet<>();
    }

    @Override
    public YourItem process(YourItem item) throws Exception {
        String itemCode = item.getItemCode();

        // 优先检查当前Chunk内的已插入项
        if (insertedItemCodes.contains(itemCode)) {
            item.setOperation("UPDATE");
            return item;
        }

        // 查询数据库判断是否存在
        boolean exists = yourRepository.existsByItemCode(itemCode);
        if (exists) {
            item.setOperation("UPDATE");
        } else {
            item.setOperation("INSERT");
            insertedItemCodes.add(itemCode);
        }
        return item;
    }

    @Override
    public ExitStatus afterStep(StepExecution stepExecution) {
        // 清理缓存，避免内存泄漏
        insertedItemCodes.clear();
        return ExitStatus.COMPLETED;
    }
}

方案2：使用CompositeItemProcessor分离职责 #

如果希望Processor职责单一，可以用CompositeItemProcessor拆分逻辑：

• 第一个Processor负责缓存跟踪和重复项标记
• 第二个Processor负责数据库校验和初始操作类型标记

示例配置（Java Config）：

@Bean
public CompositeItemProcessor<YourItem, YourItem> compositeItemProcessor() {
    CompositeItemProcessor<YourItem, YourItem> processor = new CompositeItemProcessor<>();
    processor.setDelegates(List.of(
        new DuplicateTrackingProcessor(),
        new DatabaseValidationProcessor(yourRepository)
    ));
    return processor;
}

方案3：预处理CSV文件（去重/排序） #

如果CSV文件允许预处理，可以先对文件按ItemCode排序或去重，确保相同ItemCode的项连续出现：

• 使用SortingItemReader包装FlatFileItemReader，对读取的项按ItemCode排序
• 或通过外部工具先对CSV文件排序，这样同一Chunk内的重复项会集中出现，Processor处理第一个后，后续项可直接标记为更新

注意：此方案适合数据量较大但允许预处理的场景，会增加额外的IO开销。

关键注意事项 #

• 缓存必须是Step级别的（使用@StepScope），避免多线程Step实例或跨Step的缓存污染
• 若Chunk内数据量极大（如1000条且ItemCode数量多），需关注内存占用，必要时可使用弱引用集合或限制缓存大小
• 不要依赖数据库的未提交数据，因为Spring Batch的Chunk事务是直到commit才会写入数据库

内容的提问来源于stack exchange，提问作者JuniorGuy