如何在Spring Batch Tasklet Job中实现数据记录逐条即时持久化？

核心问题在于Spring Batch的Tasklet默认会将整个execute方法包裹在一个全局事务中，所有持久化操作都会等到这个全局事务提交（即Tasklet执行完毕）才会生效。要实现单条记录处理完成后立即持久化，需要为每条记录单独开启独立事务，以下是具体实现方案：

方法1：使用编程式事务（推荐） #

通过TransactionTemplate为每条记录的处理+持久化逻辑设置REQUIRES_NEW事务传播行为，强制开启新事务，完成后立即提交，不受Tasklet全局事务的影响。

代码示例 #

@Component
public class CustomTasklet implements Tasklet {

    private final TransactionTemplate transactionTemplate;
    private final RecordProcessor recordProcessor;
    private final RecordValidator recordValidator;
    private final RecordRepository recordRepository;
    private final FileReader fileReader;

    // 构造注入依赖
    public CustomTasklet(PlatformTransactionManager transactionManager,
                         RecordProcessor recordProcessor,
                         RecordValidator recordValidator,
                         RecordRepository recordRepository,
                         FileReader fileReader) {
        this.transactionTemplate = new TransactionTemplate(transactionManager);
        // 设置事务传播行为为REQUIRES_NEW
        this.transactionTemplate.setPropagationBehavior(TransactionDefinition.PROPAGATION_REQUIRES_NEW);
        this.recordProcessor = recordProcessor;
        this.recordValidator = recordValidator;
        this.recordRepository = recordRepository;
        this.fileReader = fileReader;
    }

    @Override
    public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) throws Exception {
        // 1. 读取文件夹中的文件
        List<RawRecord> rawRecords = fileReader.readFilesFromFolder();

        for (RawRecord rawRecord : rawRecords) {
            // 为每条记录单独开启事务
            transactionTemplate.execute(status -> {
                try {
                    // 2. 处理记录
                    ProcessedRecord processedRecord = recordProcessor.process(rawRecord);
                    // 3. 验证记录
                    recordValidator.validate(processedRecord);
                    // 4. 持久化记录（此操作会立即提交）
                    recordRepository.save(processedRecord);
                    return null;
                } catch (ValidationException e) {
                    // 验证失败时回滚当前记录的事务，不影响其他记录
                    status.setRollbackOnly();
                    // 可记录失败日志或执行其他处理
                    return null;
                }
            });
        }
        return RepeatStatus.FINISHED;
    }
}

关键说明 #

• 事务传播行为：REQUIRES_NEW会暂停当前Tasklet的全局事务，为每条记录开启全新事务，操作完成后立即提交，即使后续Tasklet执行失败，已提交的记录也不会回滚。
• 为什么之前调整持久化方法的事务范围无效？如果持久化方法使用默认的REQUIRED传播行为，会加入Tasklet的全局事务，只有全局事务提交才会写入数据库；必须显式指定REQUIRES_NEW才能脱离全局事务。
• 性能考量：每条记录单独开启事务会增加数据库连接开销，如果数据量极大，需权衡性能与业务需求；若后续场景允许，仍建议优先考虑Chunk-based Job（可通过自定义ItemReader/Processor适配特殊场景）。

方法2：自定义Tasklet事务管理器（不推荐） #

若坚持使用声明式事务，可在Tasklet类上为处理单条记录的方法添加@Transactional(propagation = Propagation.REQUIRES_NEW)，但需确保Spring能正确代理该方法（避免内部方法调用导致事务失效，需通过代理对象调用）。这种方式灵活性不如编程式事务，实际场景中较少使用。

内容的提问来源于stack exchange，提问作者Felipe Cansian