Spring Batch运行时调整步骤池大小与提交间隔问题咨询
术语口径统一
- concurrency：同一时间运行中的步骤数量
- parallelism：单个步骤内部执行任务的工作线程数
现有使用场景
- 共200+个待传输生成文件，基于Spring Batch实现文件传输逻辑，单个Step对应单个文件的传输任务
- 作业全量配置动态生成：步骤总数、每个步骤绑定的Reader/Writer均为步骤独有，不存在多步骤共享读写组件的情况
- 线程池分层设计：
- 配置全局专属线程池负责并发调度多个步骤，管控整体concurrency水平
- 每个步骤配置独立线程池实现单步骤内的parallelism，配合
commit-interval参数平衡吞吐量与管控灵活性
核心问题
- Job启动后，如何修改运行中步骤的数量？
- 步骤启动处理后，如何修改
commit-interval参数？
实际观测现象
场景1：全局步骤线程池扩容未生效
总计需处理300个步骤，初始配置的全局步骤调度线程池大小为5。作业启动运行后发现服务器仍有剩余计算资源，尝试将线程数调整为8：调整后通过监控确认线程池实际大小已提升到8，但运行中步骤的数量始终维持原有水平未增长。
场景2：运行时无法直接修改commit-interval
当服务器存在剩余内存资源时，希望在运行时增大commit-interval参数提升吞吐量，但排查StepExecution类未找到可修改该参数的公开接口。
对照验证结果
针对单步骤内的parallelism维度调整，仅需增大对应步骤独立线程池的大小即可成功修改运行线程数，调整后吞吐量有显著提升。
原因说明
全局线程池扩容后并发步骤数未上涨的根因
Spring Batch的多步骤并发调度逻辑在Job启动阶段，会按照调度线程池初始的核心线程数，一次性提交对应数量的Step任务到线程池，后续默认不会持续监听线程池容量变化补充提交新的待执行Step。你调整线程池大小只是扩容了工作线程的容量，但调度器没有主动往池子里提交新的Step任务，自然运行中的步骤数不会变化。
单步骤内的parallelism调整能立即生效，是因为单步骤的多线程分块处理基于TaskExecutorRepeatTemplate实现，内部执行循环会持续向步骤专属线程池提交分块处理任务，只要线程池有空闲工作线程就会接收新提交的任务，扩容后新创建的线程能立刻拿到任务执行，效果可以实时体现。
无法通过StepExecution修改commit-interval的根因
commit-interval属于Step初始化阶段的静态配置元数据，不是运行时上下文中的可变属性。Spring Batch在Step启动时，就会基于配置的commit-interval值初始化事务拦截器、Chunk处理器的固定提交阈值，整个Step生命周期中这个阈值是写入处理执行链的，不会从StepExecution上下文动态读取，因此框架没有提供运行时修改的公开接口。如果强行通过反射修改私有属性值，会直接导致事务计数不匹配、Chunk提交状态错乱，触发作业执行失败。
可行调整方案
- 动态调整并发步骤数：自定义
StepExecutionSplitter分发逻辑，增加轮询校验逻辑，每次轮询时检查当前全局调度线程池的剩余可用容量，主动补充提交待执行的Step任务，即可实现运行时动态调整并发步骤数的效果。 - 动态调整分块提交阈值：不要尝试修改已启动Step的静态配置，替换原生固定
commit-interval配置为自定义ChunkCompletionPolicy实现，在策略内部暴露动态修改阈值的接口。由于Chunk是否提交的判定是每轮处理时实时调用策略计算的，运行时修改策略阈值不会破坏原有执行链的状态，可以安全实现动态调整效果。
内容的提问来源于stack exchange，提问作者Jacob Goldverg
