Spring Batch未充分利用多核CPU，如何优化配置？

核心问题分析 #

当前配置下CPU使用率仅6-7%、读取速度仅25行/秒的核心原因是**SynchronizedItemStreamReader的同步特性**：该读取器会强制所有线程串行读取数据，16个线程实际只有一个在执行读取操作，其余线程处于等待状态，完全无法利用多核CPU资源。此外，线程池配置不合理也加剧了性能瓶颈。

具体优化配置 #

1. 替换同步读取器，实现并行读取 #

放弃SynchronizedItemStreamReader，改用**分区Step（PartitionStep）**让每个线程独立处理一个文件/文件分片，彻底避免读取阶段的锁竞争。

单文件处理Step（每个分区执行的子Step）

@Bean
public Step fileProcessingStep() {
    return stepFactory.get("fileProcessingStep")
            .<T, T>chunk(1000) // 调大Chunk大小，减少事务切换开销
            .reader(flatFileItemReader(null)) // 每个分区使用独立的FlatFileItemReader
            .processor(createProcessor())
            .writer(slaveStepWriter())
            .faultTolerant()
            .skip(RollbackException.class)
            .skipLimit(1000000000)
            .build();
}

主分区Step（分配多线程处理多个资源）

@Bean
public Step createMyStep() {
    MultiResourcePartitioner partitioner = new MultiResourcePartitioner();
    partitioner.setResources(yourFileResources); // 传入待处理的所有文件资源

    return stepFactory.get("MyStep")
            .partitioner("fileProcessingStep", partitioner)
            .partitionHandler(partitionHandler())
            .build();
}

@Bean
public PartitionHandler partitionHandler() {
    TaskExecutorPartitionHandler handler = new TaskExecutorPartitionHandler();
    handler.setStep(fileProcessingStep());
    handler.setTaskExecutor(taskExecutor());
    handler.setGridSize(16); // 与线程池核心线程数匹配
    return handler;
}

2. 优化线程池配置 #

调整线程池参数，避免任务阻塞和资源浪费：

@Bean
public TaskExecutor taskExecutor() {
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setCorePoolSize(16); // 与CPU核数匹配
    executor.setMaxPoolSize(16); // 核心线程数与最大线程数一致，避免线程频繁创建销毁
    executor.setQueueCapacity(1000); // 增大任务队列，避免任务被拒绝后由调用线程执行
    executor.setThreadNamePrefix("batch-file-");
    executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy()); // 队列满时抛出异常，便于排查瓶颈
    executor.initialize();
    return executor;
}

3. 优化FlatFileItemReader性能 #

增大读取缓冲区，减少IO次数：

@Bean
public FlatFileItemReader<T> flatFileItemReader(Resource resource) {
    return new FlatFileItemReaderBuilder<T>()
            .resource(resource)
            .lineMapper(lineMapper())
            .bufferedReaderFactory(reader -> new BufferedReader(reader, 32768)) // 缓冲区设为32KB（默认8KB）
            .build();
}

4. 其他优化建议 #

• 拆分大文件：如果是单个超大文件，将其拆分为多个小文件（比如按行数拆分），让每个线程处理一个小文件，最大化并行度。
• 优化监听器：检查ItemReadListenerImpl、ItemProcessListenerImpl是否有冗余操作（比如每行打印日志），改为批量日志或关闭非必要监听器。
• 检查IO来源：如果InputStream来自网络存储（如S3、FTP），先将文件下载到本地磁盘再处理，避免网络IO延迟拖慢读取速度。

内容的提问来源于stack exchange，提问作者ethereal