Spring Batch分块处理写入中断事务未回滚方案咨询

你当前采用的手动控制事务方案不是正确实现，完全无法适配百万级数据的生产场景。Spring Batch原生分块（Chunk）机制本身就提供了单Chunk内操作的事务原子性保证，你遇到的Chunk写入中途终止未回滚问题，本质是基础配置错误导致原生事务机制未生效，不需要自行实现事务控制逻辑。

手动关闭自动提交、全量数据写完再统一提交的实现存在几个致命缺陷，完全不适合大数据量场景：

• 单事务覆盖百万级数据会导致DB2事务日志体积暴增，极易触发事务日志空间耗尽错误，直接导致任务失败
• 长事务会持续持有DB2行锁/表锁，阻塞同表的其他业务读写操作，影响线上业务可用性
• 任务中途终止时，DB2回滚百万级数据的事务会消耗大量IO和CPU资源，严重时可能拖垮数据库实例
• 完全抛弃了Spring Batch原生的失败重试、坏数据跳过、断点续跑能力，任务容错性为0

出现单Chunk写入中途终止未回滚的问题，基本都是以下几个配置错误导致：

1. 数据源与事务管理器不绑定：JdbcPagingItemReader、ItemWriter使用的数据源，和Spring Batch Step配置的事务管理器绑定的数据源不是同一个，事务逻辑无法接管写入操作的数据库连接
2. 连接池自动提交配置未关闭：多数连接池（Hikari、Druid等）默认会将autoCommit设为true，若未在连接池层面强制关闭，Spring Batch的事务配置会被覆盖，写入操作执行单条SQL就会自动提交，自然无法触发整体回滚
3. 事务传播配置错误：自定义写入逻辑中错误使用了REQUIRES_NEW等独立事务传播级别，部分写入操作在独立事务中提交，外层Chunk事务回滚无法覆盖这部分操作
4. 未使用DB2兼容组件：JdbcPagingItemReader未配置DB2专用的分页查询提供者，分页查询过程中触发隐式提交
5. 终止方式错误：直接杀进程而非通过Spring Batch提供的JobOperator.stop()接口终止任务，导致数据库侧事务悬挂，未正常触发回滚

不需要自行编写事务控制逻辑，只要修正配置让Spring Batch原生Chunk事务机制生效即可，完全可以支撑百万级甚至千万级数据处理：

1. 修正基础事务配置 #

• 所有读写组件统一使用同一个DataSource Bean，Step直接注入基于该DataSource初始化的DataSourceTransactionManager，不要在业务代码中手动获取数据库连接修改autoCommit属性
• 在连接池配置层面强制关闭自动提交，以Hikari连接池为例配置如下：

spring.datasource.hikari.auto-commit=false

• 不要给Chunk-oriented Step添加任何自定义@Transactional注解，Spring Batch会自动为每个Chunk划定事务边界：Chunk开始时开启事务，全部读、处理、写逻辑执行完成后提交，中途任何异常/终止信号都会触发整个Chunk回滚

2. DB2场景性能与稳定性优化 #

• Chunk大小设置为1000-5000区间，不要设置过大，单Chunk事务持有时间短、锁粒度小、事务日志量可控，避免长事务问题
• JdbcPagingItemReader必须配置Db2PagingQueryProvider作为分页实现，指定唯一主键作为排序键，保证分页稳定性，同时设置fetchSize和Chunk大小匹配，减少数据库交互次数
• ItemWriter开启JDBC批量写入能力，DB2对JDBC batch优化成熟，单Chunk 2000条的批量写入性能远高于单条写入
• 任务终止统一使用JobOperator.stop()方法触发，该方法会向当前执行的Step发送中断信号，等待当前Chunk事务正常回滚后再退出，避免事务悬挂

3. 参考配置代码 #

@Bean
public Step bizDataHandleStep(DataSource dataSource, 
                              PlatformTransactionManager transactionManager,
                              ItemWriter<BizEntity> db2BatchWriter) {
    return stepBuilderFactory.get("bizDataHandleStep")
            // 单Chunk大小设为2000，绑定对应事务管理器
            .<BizEntity, BizEntity>chunk(2000, transactionManager)
            .reader(db2PagingReader(dataSource))
            .processor(bizItemProcessor())
            .writer(db2BatchWriter)
            .faultTolerant()
            // 可根据业务配置重试、跳过逻辑
            .skip(DeadlockLoserDataAccessException.class)
            .skipLimit(10)
            .build();
}

@Bean
public JdbcPagingItemReader<BizEntity> db2PagingReader(DataSource dataSource) {
    JdbcPagingItemReader<BizEntity> reader = new JdbcPagingItemReader<>();
    reader.setDataSource(dataSource);
    reader.setFetchSize(2000);
    reader.setRowMapper(new BeanPropertyRowMapper<>(BizEntity.class));
    // 配置DB2专用分页查询提供者
    Db2PagingQueryProvider queryProvider = new Db2PagingQueryProvider();
    queryProvider.setSelectClause("id, biz_col1, biz_col2, create_time");
    queryProvider.setFromClause("t_biz_data");
    // 必须指定唯一排序键，保证分页稳定
    queryProvider.setSortKey("id");
    reader.setQueryProvider(queryProvider);
    return reader;
}

内容的提问来源于stack exchange，提问作者Mimansa Sinha