如何编写Spring Batch的ItemWriter实现数据库存储

问题核心 #

你当前的LoggingItemWriter存在两个关键问题：

• 泛型类型不匹配：实现的是ItemWriter<AreaBoundaryDTO>，但ItemReader输出的是MyDTO，类型不一致会导致数据处理异常
• 仅做日志打印，未调用JPA Repository执行持久化逻辑

解决方案步骤 #

1. 实现支持JPA持久化的自定义ItemWriter

创建JpaMyDTOItemWriter，注入MyRepo并实现批量数据保存：

import org.springframework.batch.item.ItemWriter;
import org.springframework.beans.factory.annotation.Autowired;
import java.util.List;

public class JpaMyDTOItemWriter implements ItemWriter<MyDTO> {

    private final MyRepo myRepo;

    // 构造函数注入依赖（推荐方式）
    @Autowired
    public JpaMyDTOItemWriter(MyRepo myRepo) {
        this.myRepo = myRepo;
    }

    @Override
    public void write(List<? extends MyDTO> items) throws Exception {
        // 调用JPA Repository的批量保存方法，提升效率
        myRepo.saveAll(items);
        // 可选：添加日志记录保存结果
        System.out.println("成功保存 " + items.size() + " 条数据");
    }
}

2. 更新BatchConfig中的ItemWriter Bean

替换原有的LoggingItemWriter，并将MyRepo注入到新的Writer中：

public class BatchConfig {

    private final MyRepo myRepo;

    // 构造注入MyRepo
    public BatchConfig(MyRepo myRepo) {
        this.myRepo = myRepo;
    }
    
    @Bean
    public ItemReader<MyDTO> itemReader() {
        return new myItemReader();
    }

    @Bean
    public ItemWriter<MyDTO> itemWriter() {
        return new JpaMyDTOItemWriter(myRepo);
    }

    // Step和Job定义保持不变，可按需调整chunk大小
    @Bean
    public Step exampleJobStep(ItemReader<MyDTO> reader,
                               ItemWriter<MyDTO> writer,
                               StepBuilderFactory stepBuilderFactory) {
        return stepBuilderFactory.get("exampleJobStep")
                .<MyDTO, MyDTO>chunk(100) // 生产环境建议调大chunk值，减少数据库交互
                .reader(reader)
                .writer(writer)
                .build();
    }

    @Bean
    public Job exampleJob(Step exampleJobStep,
                          JobBuilderFactory jobBuilderFactory) {
        return jobBuilderFactory.get("exampleJob")
                .incrementer(new RunIdIncrementer())
                .flow(exampleJobStep)
                .end()
                .build();
    }
}

3. 修复ItemReader中的错误

你的myItemReader存在两处明显问题，需要修正以保证数据正常读取：

import java.util.ArrayList;
import java.util.List;
import org.springframework.batch.item.ItemReader;

public class myItemReader implements ItemReader<MyDTO> {
 
    private int index;
    private List<MyDTO> myData = new ArrayList<>();
 
    // 构造函数名称需与类名一致
    public myItemReader() {
        initialize();
    }
 
    private void initialize() {
        for(int i=0; i<5; i++){
            MyDTO newObj = new MyDTO();
            // 替换为实际赋值逻辑，示例用循环变量生成数据
            newObj.setId(i);
            newObj.setName("Item_" + i);
            // 其他字段赋值...

            myData.add(newObj);
        }
        // index初始化放在循环外，避免每次循环重置
        index = 0;
    }
 
    @Override
    public MyDTO read() throws Exception {
        MyDTO nextDTO = null;
 
        if (index < myData.size()) {
            nextDTO = myData.get(index);
            index++;
        } else {
            // 返回null表示数据读取完毕，结束Step
            return null;
        }
 
        return nextDTO;
    }
}

关键注意事项 #

• Chunk大小：当前chunk设为1会频繁触发数据库操作，生产环境建议调整为100-500区间，根据数据量和数据库性能优化
• 依赖注入：优先使用构造函数注入，避免字段注入，提升代码可测试性
• Reader终止逻辑：read()方法必须在数据耗尽时返回null，否则会导致任务无限循环

内容的提问来源于stack exchange，提问作者David