Spring Batch处理非分页Rest API数据：重启续跑问题咨询及方案建议

一、当前认知是否符合Spring Batch处理逻辑？ #

完全符合。你遇到的问题核心在于当前的ItemReader没有实现读取状态的持久化与恢复：

• 你的MyItemReader在open方法中每次都将curIndex重置为0，没有从Spring Batch的ExecutionContext中恢复之前失败时的读取位置；
• update方法为空，没有将当前读取进度保存到ExecutionContext中。
  而Spring Batch的续跑能力依赖于ExecutionContext持久化步骤的执行状态，所以失败重启时只能重新读取全部数据，这是当前代码逻辑导致的必然结果。

二、可行解决方案 #

1. 改造ItemReader，实现状态持久化与恢复 #

修改MyItemReader，完成读取位置的保存与恢复，同时缓存从restApi1获取的全量数据，按索引逐个读取：

public class MyItemReader extends ItemStreamSupport implements ItemReader<Data> {

    private int curIndex = 0;
    private List<Data> cachedData; // 缓存从restApi1获取的全量数据

    // 注入restApi1的调用客户端
    private RestApiClient restApiClient;

    public MyItemReader(RestApiClient restApiClient) {
        this.restApiClient = restApiClient;
    }

    @Override
    public void open(ExecutionContext executionContext) throws ItemStreamException {
        // 从ExecutionContext恢复之前的读取位置，首次执行则设为0
        if (executionContext.containsKey("curIndex")) {
            this.curIndex = executionContext.getInt("curIndex");
            // 恢复缓存数据（若担心数据过期，可重新调用API拉取）
            this.cachedData = restApiClient.fetchAllData();
        } else {
            this.curIndex = 0;
            // 首次执行时调用restApi1获取全量数据
            this.cachedData = restApiClient.fetchAllData();
        }
    }

    @Override
    public void update(ExecutionContext executionContext) throws ItemStreamException {
        // 将当前读取位置保存到ExecutionContext，用于重启恢复
        executionContext.putInt("curIndex", this.curIndex);
    }

    @Override
    public Data read() throws Exception {
        if (curIndex < cachedData.size()) {
            return cachedData.get(curIndex++);
        }
        // 读取完毕返回null，结束Step
        return null;
    }
}

2. 简化ItemProcessor与ItemWriter #

你的MyItemProcessor和MyItemWriter没有需要持久化的状态，无需继承ItemStreamSupport，保持基础实现即可：

// 修改后的ItemProcessor
public class MyItemProcessor implements ItemProcessor<Data1, Data2> {
    @Override
    public Data2 process(Data1 data1) throws Exception {
        // 自定义数据转换逻辑
        return new Data2();
    }
}

// 修改后的ItemWriter
public class MyItemWriter implements ItemWriter<Data2> {
    // 注入restApi2的调用客户端
    private RestApi2Client restApi2Client;

    public MyItemWriter(RestApi2Client restApi2Client) {
        this.restApi2Client = restApi2Client;
    }

    @Override
    public void write(List<? extends Data2> listOfData) throws Exception {
        // 调用restApi2批量写入数据的逻辑
        restApi2Client.batchWrite(listOfData);
    }
}

3. 确保Step的重启支持 #

Spring Batch默认开启Step的重启能力，但需确保JobRepository配置正确（使用关系型数据库存储执行状态，而非内存型），这样ExecutionContext才能持久化到数据库中，重启时才能恢复状态。

额外优化建议 #

如果restApi1返回的10000条数据过大，内存缓存压力高，可以考虑：

• 优先请求restApi1提供分页接口（最优解，避免一次性加载大量数据到内存）；
• 若无法修改restApi1，可将全量数据临时写入本地文件或数据库，再按分页读取，降低内存占用。

内容的提问来源于stack exchange，提问作者Prashant Singh