Spring Batch用ThreadPoolTaskExecutor并行处理记录遇线程数不足问题

你遇到的核心问题是Spring Batch默认的Step并发限制（throttle-limit）为4，同时可能未正确将线程池绑定到Step的异步执行配置中。以下是具体的配置修正点：

1. 为Step指定TaskExecutor并设置throttle-limit #

在Step的配置中，需要显式指定使用你的ThreadPoolTaskExecutor，同时调整throttle-limit参数（该参数控制同时执行的并发线程数，默认值为4）。

XML配置示例 #

<step id="parallelProcessingStep">
    <tasklet task-executor="threadPoolTaskExecutor" throttle-limit="10">
        <chunk reader="itemReader" processor="itemProcessor" writer="itemWriter" commit-interval="20000"/>
    </tasklet>
</step>

<!-- 你的线程池配置 -->
<bean id="threadPoolTaskExecutor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
    <property name="corePoolSize" value="10"/>
    <property name="maxPoolSize" value="15"/>
    <property name="queueCapacity" value="30"/>
    <property name="waitForTasksToCompleteOnShutdown" value="true"/>
</bean>

Java配置示例 #

@Bean
public Step parallelProcessingStep(StepBuilderFactory stepBuilderFactory,
                                  ItemReader<?> itemReader,
                                  ItemProcessor<?, ?> itemProcessor,
                                  ItemWriter<?> itemWriter,
                                  ThreadPoolTaskExecutor threadPoolTaskExecutor) {
    return stepBuilderFactory.get("parallelProcessingStep")
            .<Object, Object>chunk(20000)
            .reader(itemReader)
            .processor(itemProcessor)
            .writer(itemWriter)
            .taskExecutor(threadPoolTaskExecutor)
            .throttleLimit(10) // 匹配线程池核心线程数
            .build();
}

2. 关键配置说明 #

• task-executor：将自定义线程池绑定到Step，让分块处理使用异步线程执行。
• throttle-limit：控制Step允许的最大并发线程数，需设置为不小于线程池的corePoolSize（这里设为10），否则会被默认值4限制。
• commit-interval：每个线程处理的记录块大小，你的20000设置没问题，每个线程每次提交2万条记录。

3. 额外注意事项 #

• 确保你的ItemReader、ItemProcessor、ItemWriter是线程安全的，多个线程会同时调用这些组件。
• 20万条记录按2万条分块后共10块，刚好匹配核心线程数10，因此只会用到核心线程，不会触发最大线程数15的扩容。

内容的提问来源于stack exchange，提问作者andrew