如何通过重试提升Spring Batch ItemReader的容错能力

一、JdbcCursorItemReader的重试可行性 #

JdbcCursorItemReader依赖长连接和数据库游标进行流式读取，游标位置是和当前数据库会话绑定的状态。一旦出现临时网络中断，连接断开后游标无法恢复到之前的读取位置，尝试给它加重试完全徒劳——即使捕获异常重试，也无法继续从断点处读取数据，最终会导致数据重复或丢失。

另外你用@Retryable注解无效的原因是：Spring Batch的Reader组件方法由框架直接调用，默认不会被Spring AOP代理拦截，因此注解的重试逻辑不会触发。Spring Batch有自己的重试配置机制，并非靠方法注解实现。

二、JdbcPagingItemReader的重试支持 #

JdbcPagingItemReader采用分页读取模式，每次读取一页数据，读取状态（当前页码、分页参数）会被自动保存到ExecutionContext中。如果遇到瞬时网络错误，完全可以支持重试：

• 重试时，框架会从ExecutionContext中恢复上次失败的页码，重新读取该页数据
• 不存在游标丢失问题，因为每次读取都是基于分页参数的独立查询

三、具体实现方案 #

1. 改用JdbcPagingItemReader #

Java Config配置示例：

@Bean
public JdbcPagingItemReader<YourEntity> pagingItemReader(DataSource dataSource) {
    return new JdbcPagingItemReaderBuilder<YourEntity>()
            .dataSource(dataSource)
            .fetchSize(1000) // 每页读取数量，按需调整
            .rowMapper(new BeanPropertyRowMapper<>(YourEntity.class))
            .queryProvider(createQueryProvider(dataSource))
            .build();
}

private PagingQueryProvider createQueryProvider(DataSource dataSource) {
    SqlPagingQueryProviderFactoryBean factory = new SqlPagingQueryProviderFactoryBean();
    factory.setDataSource(dataSource);
    factory.setSelectClause("SELECT id, column1, column2");
    factory.setFromClause("FROM source_table");
    factory.setSortKey("id"); // 必须指定稳定排序键，保证分页一致性
    try {
        return factory.getObject();
    } catch (Exception e) {
        throw new RuntimeException("创建查询提供者失败", e);
    }
}

2. 配置步骤的重试机制 #

在Step配置中启用重试，指定需要重试的瞬时异常类型：

@Bean
public Step migrationStep(ItemReader<YourEntity> reader, 
                          ItemProcessor<YourEntity, TargetEntity> processor, 
                          ItemWriter<TargetEntity> writer,
                          JobRepository jobRepository,
                          PlatformTransactionManager transactionManager) {
    return new StepBuilder("migrationStep", jobRepository)
            .<YourEntity, TargetEntity>chunk(1000, transactionManager)
            .reader(reader)
            .processor(processor)
            .writer(writer)
            .retry(SQLTransientConnectionException.class) // 针对瞬时数据库连接异常重试
            .retry(SocketTimeoutException.class) // 针对网络超时异常重试
            .retryLimit(3) // 最大重试次数
            .build();
}

3. 额外容错优化 #

• 状态持久化：确保ExecutionContext被正确持久化（默认Spring Batch会存储到数据库的BATCH_STEP_EXECUTION_CONTEXT表），任务重启后可从断点恢复
• 异常区分：仅对瞬时可恢复异常重试，对不可恢复异常（如SQLSyntaxErrorException）直接失败，避免无效重试
• 阈值告警：配置监控，当重试次数达到阈值时触发告警，排查潜在的网络或数据库问题

四、若必须使用JdbcCursorItemReader的替代方案 #

如果因特殊需求无法改用分页Reader，可以将数据按范围拆分（比如按ID分段），拆分为多个小任务，每个任务用JdbcCursorItemReader读取一段数据。这样某一段失败时，仅需重试该段，不会影响整体任务。但该方案需要额外的任务拆分逻辑，复杂度较高，不推荐优先使用。

内容的提问来源于stack exchange，提问作者user3008280