使用Spring Batch处理CSV更新80万条数据库记录如何优化耗时？

第一步Tasklet（旧数据更新/删除）优化 #

• 避免逐行操作：不要逐行遍历CSV内容去操作数据库，先把CSV中用于匹配旧数据的关键字段批量写入一张临时中间表，再通过单条关联SQL完成全量更新/删除，例如DELETE FROM 业务表 WHERE 匹配字段 IN (SELECT 匹配字段 FROM 临时表)，比逐行发请求效率高几个量级。
• 调整事务粒度：如果单次操作数据量过大，不要用整个Step对应单事务，可拆分为临时表写入、批量DML两个独立事务，也可给DML操作设置分批提交规则，比如每1万条提交一次，避免锁表或回滚超时。
• 优化数据库索引：给业务表的匹配字段加联合索引，避免80万条数据全表扫描，单次全表扫描的耗时叠加后会严重拖慢整体速度。

第二步Chunk分块步骤（新数据持久化）优化 #

• 调整chunk大小：默认chunk值通常过小，比如设为10的话8万行要提交8000次事务，建议压测调整到500~2000区间，平衡内存占用和事务提交次数，1000是多数场景下的最优值。
• 开启真批量写入：数据源配置要加数据库驱动的批量参数，例如MySQL要加rewriteBatchedStatements=true，同时给JdbcBatchItemWriter设置setBatchSize和chunk大小一致，确保驱动是把多条SQL合并为批量请求发送，而非伪装批量的逐行发送。
• 简化读取逻辑：使用FlatFileItemReader时关闭非必要的行校验、冗余字段解析，多余的格式校验、类型转换逻辑统一放到Processor批量处理。
• 启用并行处理：如果业务没有顺序依赖，给Chunk步骤配置多线程TaskExecutor，核心线程数设为CPU核心数的2~4倍，注意把Reader、Processor、Writer设为@StepScope保证线程安全。数据无状态依赖的场景还可以用分区Step，把CSV按行拆分多个分区并行处理，效率提升更明显。

全链路通用优化 #

• 调整JDBC连接池配置：调大最大连接数，避免批量操作时连接不足排队，同时设置足够长的事务超时时间，避免大事务下连接被提前回收。
• 数据库侧临时优化：作业运行期间暂时关闭非必要的审计日志、慢查询日志，如果是全量替换数据的场景，可以先删业务表的非必要索引，插入完成后再重建，比边插边更新索引快30%以上。
• 内存参数调优：调大作业进程的JVM堆内存，避免处理大文件时频繁GC，尤其是Processor有中间数据缓存逻辑的场景，要保证内存足够容纳单批次Chunk数据。

内容的提问来源于stack exchange，提问作者Abdelouahed