Spring Batch从REST API读取并批量写入单表的实现问题

数据老陈

2026-5-26

解决Spring Batch中JdbcBatchItemWriter仅写入单条记录的问题

我来帮你梳理下这个问题的核心原因和解决办法——你遇到的情况大概率是Chunk配置或者Writer的批量参数没设置对，不一定需要让处理器返回列表（当然如果你的Reader本身返回的是列表，那处理器要适配，但更标准的Spring Batch用法是单条读取、批量处理写入）。

核心问题分析

Spring Batch的Chunk模型是：ItemReader读取单条数据 → ItemProcessor处理单条 → 积累到chunk size数量后，ItemWriter批量写入。如果你的Writer只写一条，通常是这几个环节出了问题：

Chunk的size设置为1（默认值），导致每次只处理一条
JdbcBatchItemWriter没有启用批量写入配置
ItemReader没有正确返回多条数据（比如每次只读取一条，且没做分页/循环读取）

具体解决步骤

1. 调整Step的Chunk Size

首先在你的Step配置里，明确设置chunk的大小，比如你希望一次批量写入10条，就把chunk size设为10：

@Bean
public Step registrationImportStep(StepBuilderFactory stepBuilderFactory,
                                   ItemReader<Registration> restApiReader,
                                   ItemProcessor<Registration, Registration> registrationProcessor,
                                   JdbcBatchItemWriter<Registration> jdbcWriter) {
    return stepBuilderFactory.get("registrationImportStep")
            // 这里的泛型是<输入类型, 输出类型>，如果处理器不改变类型就写一致的
            .<Registration, Registration>chunk(10) 
            .reader(restApiReader)
            .processor(registrationProcessor)
            .writer(jdbcWriter)
            .build();
}

2. 正确配置JdbcBatchItemWriter的批量写入

确保你的Writer配置了批量参数，并且SQL语句和对象映射正确：

@Bean
public JdbcBatchItemWriter<Registration> jdbcBatchItemWriter(DataSource dataSource) {
    return new JdbcBatchItemWriterBuilder<Registration>()
            .dataSource(dataSource)
            // 替换成你的插入SQL，用:属性名来映射对象字段
            .sql("INSERT INTO registration (id, name, email, phone) VALUES (:id, :name, :email, :phone)")
            // 自动将Registration对象的属性映射到SQL参数，不用手动写PreparedStatementSetter
            .beanPropertyItemSqlParameterSourceProvider()
            // 设置批量写入的大小，和chunk size保持一致
            .batchSize(10)
            .build();
}

3. 确保ItemReader能正确返回多条数据

如果你的REST API返回的是一个列表，你的ItemReader需要能循环读取列表里的每条数据，而不是一次性返回整个列表（当然也可以做分页读取，比如每次调用API获取一页数据）。举个自定义REST Reader的例子：

@Bean
public ItemReader<Registration> restApiItemReader(RestTemplate restTemplate) {
    return new ItemReader<Registration>() {
        private int currentPosition = 0;
        private List<Registration> fetchedRegistrations;

        @Override
        public Registration read() throws Exception {
            // 如果当前列表已读完，重新调用API获取数据
            if (fetchedRegistrations == null || currentPosition >= fetchedRegistrations.size()) {
                ResponseEntity<List<Registration>> response = restTemplate.exchange(
                        "https://your-api-endpoint/registrations",
                        HttpMethod.GET,
                        null,
                        new ParameterizedTypeReference<List<Registration>>() {});
                fetchedRegistrations = response.getBody();
                currentPosition = 0;
                
                // 如果API返回空，说明没有更多数据，返回null结束Job
                if (fetchedRegistrations == null || fetchedRegistrations.isEmpty()) {
                    return null;
                }
            }
            // 逐条返回数据
            return fetchedRegistrations.get(currentPosition++);
        }
    };
}

4. 处理器的注意事项

如果你的处理器不需要修改数据结构，直接返回原对象即可，不需要返回列表。只有当你的ItemReader返回的是List<Registration>时，才需要把处理器改成ItemProcessor<List<Registration>, List<Registration>>，但这种方式不符合Spring Batch的Chunk模型设计，不推荐。

额外排查点

检查处理器是否过滤掉了数据：比如处理器里有没有return null的逻辑，导致大部分数据被过滤，只留下一条
查看日志：开启Spring Batch的DEBUG日志，看看每次Chunk处理了多少条数据，Writer执行了多少次批量插入

内容的提问来源于stack exchange，提问作者Nandhini