如何仅在执行批处理时调用Spring Batch组件的构造方法？

核心问题分析 #

你当前的配置中直接通过new UserItemParseReader()实例化Reader/Writer，这些对象会在Spring容器启动时被创建，导致构造方法里的数据库查询提前执行并占用内存。要实现仅在批处理执行时初始化，需要从bean作用域和Spring Batch生命周期方法两个角度调整。

具体修改步骤 #

1. 调整Reader/Writer的Bean作用域与生命周期逻辑 #

将Reader和Writer标记为原型作用域（@Scope("prototype")），并把数据库数据获取逻辑从构造方法移到Spring Batch的open()生命周期方法中：

@Scope("prototype")
@Component
public class UserItemParseReader implements ItemReader<ParseItem> {

    private List<ParseItem> batchData;
    private int currentIndex = 0;

    // 空构造方法，仅做基础初始化，不执行数据库查询
    public UserItemParseReader() {}

    @Override
    public void open(ExecutionContext executionContext) throws ItemStreamException {
        // 批处理执行前才触发数据库查询
        batchData = queryBatchDataFromDb();
        currentIndex = 0;
    }

    @Override
    public ParseItem read() throws Exception {
        if (currentIndex < batchData.size()) {
            return batchData.get(currentIndex++);
        }
        return null; // 返回null表示数据读取完毕
    }

    // 数据库查询逻辑
    private List<ParseItem> queryBatchDataFromDb() {
        // 实现你的数据查询逻辑
        return new ArrayList<>();
    }
}

Writer类做类似调整：

@Scope("prototype")
@Component
public class UserItemParseWriter implements ItemWriter<ParseItem> {

    public UserItemParseWriter() {}

    // 如果需要初始化资源，也可以放在open方法中
    @Override
    public void open(ExecutionContext executionContext) throws ItemStreamException {
        // 可选：初始化数据库连接等资源
    }

    @Override
    public void write(List<? extends ParseItem> items) throws Exception {
        // 实现数据写入逻辑
    }
}

2. 修改批处理配置类，延迟获取原型Bean #

不要直接new实例，而是通过Spring的ObjectFactory来获取原型Bean，确保每次执行批处理时才创建新实例：

@Configuration
@EnableBatchProcessing
public class DbSyncConfiguration {
    @Autowired
    private JobBuilderFactory jobBuilderFactory;
    @Autowired
    private StepBuilderFactory stepBuilderFactory;
    @Autowired
    private ObjectFactory<UserItemParseReader> readerFactory;
    @Autowired
    private ObjectFactory<UserItemParseWriter> writerFactory;
    private final int BATCH_SIZE = 1000;

    @Bean
    public Job dbSyncJob() {
        return jobBuilderFactory.get("dbSyncJob")
                .incrementer(new RunIdIncrementer())
                .start(userParseStep())
                .build();
    }

    @Bean
    public Step userParseStep() {
        return stepBuilderFactory.get("userParseStep")
                .<ParseItem, ParseItem>chunk(BATCH_SIZE)
                .reader(readerFactory.getObject())
                .writer(writerFactory.getObject())
                .build();
    }
}

关键说明 #

• 原型作用域：Spring容器不会在启动时预创建单例实例，只有调用getObject()时才会生成新对象，确保构造方法仅在批处理执行时调用。
• open()方法：这是Spring Batch规定的Step级生命周期方法，会在Step开始执行前触发，此时执行数据库查询，数据仅在批处理运行期间驻留内存，执行完毕后会随实例被回收。
• 若数据量过大，建议在read()方法中实现分页查询，避免一次性加载所有数据到内存，进一步优化内存占用。

内容的提问来源于stack exchange，提问作者Companion Cube