Spring Batch处理CSV文件时如何配置AsyncItemProcessor提升处理性能？

配置修改步骤 #

你只需要添加异步包装配置，原有业务逻辑不需要修改，具体操作如下：

1. 引入依赖 #

首先确保你的项目引入了spring-batch-integration依赖，Maven配置参考：

<dependency>
    <groupId>org.springframework.batch</groupId>
    <artifactId>spring-batch-integration</artifactId>
    <version>与你使用的Spring Batch版本保持一致</version>
</dependency>

2. 配置异步线程池 #

在你的XML配置中添加线程池Bean，用于异步执行Processor逻辑：

<bean id="taskExecutor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
    <!-- 核心线程数，可根据CPU核心数调整，建议设置为2~8 -->
    <property name="corePoolSize" value="4" />
    <property name="maxPoolSize" value="8" />
    <property name="queueCapacity" value="20" />
    <property name="threadNamePrefix" value="batch-async-" />
</bean>

注意：maxPoolSize不要超过Azure SQL Server允许的最大连接数，避免数据库连接耗尽。

3. 配置异步处理器与异步写入器 #

将你原有业务Processor和Writer包装为异步实现：

<!-- 异步处理器，委托原有业务Processor执行 -->
<bean id="asyncItemProcessor" class="org.springframework.batch.integration.async.AsyncItemProcessor">
    <property name="delegate" ref="itemProcessor" />
    <property name="taskExecutor" ref="taskExecutor" />
</bean>

<!-- 异步写入器，接收异步处理返回的Future结果，委托原有业务Writer执行写入 -->
<bean id="asyncItemWriter" class="org.springframework.batch.integration.async.AsyncItemWriter">
    <property name="delegate" ref="itemWriter" />
</bean>

4. 修改Job Step配置 #

将Chunk中的processor和writer替换为异步实现：

<batch:job id="helloWorldJob">
    <batch:step id="step1">
        <batch:tasklet>
            <batch:chunk
                    reader="cvsFileItemReader"
                    processor="asyncItemProcessor"
                    writer="asyncItemWriter"
                    commit-interval="10">
            </batch:chunk>
        </batch:tasklet>
    </batch:step>
</batch:job>

<!-- 原有Reader、业务Processor、业务Writer的Bean配置不需要修改 -->
<bean id="cvsFileItemReader" class="com.mkyong.batch.Reader" />
<bean id="itemProcessor" class="com.mkyong.batch.Processor" />
<bean id="itemWriter" class="com.mkyong.batch.Writer" />

其他说明 #

• 异步处理会导致日志输出顺序和CSV读取顺序不一致，如果你对处理顺序没有强制要求，不会影响最终写入结果。
• 线程池参数、commit-interval数值可以根据实际压测结果调整，以达到最优性能。

内容的提问来源于stack exchange，提问作者One Developer