Spring Batch为不同Job配置不同JobLauncher引发锁冲突问题求助

多JobLauncher的可行性 #

多JobLauncher的用法是完全可行的，Spring Batch原生支持配置多个JobLauncher实例，用来适配不同任务的线程池需求（比如单线程串行、多线程并行），这是合理的实践方式。

异常原因分析 #

CannotAcquireLockException本质是Spring Batch元数据表的锁竞争冲突：
Spring Batch会对JOB_EXECUTION、STEP_EXECUTION等元数据记录加锁，防止并发执行导致的数据不一致。默认使用ISOLATION_SERIALIZABLE隔离级别（最高隔离级别），当两个JobLauncher同时启动的Job操作元数据表时，极易触发锁竞争，进而抛出该异常。

解决方案 #

1. 优化元数据表锁配置

这是最直接的解决方式，通过调整隔离级别和锁超时时间降低锁冲突概率：

• 调整Job创建时的隔离级别：将默认的ISOLATION_SERIALIZABLE改为ISOLATION_READ_COMMITTED，减少锁范围：

  @Bean
  public Job printJob(JobBuilderFactory jobBuilderFactory, Step printStep) {
      return jobBuilderFactory.get("printJob")
              .incrementer(new RunIdIncrementer())
              .start(printStep)
              .isolationLevelForCreate("ISOLATION_READ_COMMITTED")
              .build();
  }
  

• 配置JobRepository的锁超时：给锁等待设置合理超时，避免短暂竞争就抛出异常：

  @Bean
  public JobRepository jobRepository(DataSource dataSource, PlatformTransactionManager transactionManager) throws Exception {
      JobRepositoryFactoryBean factory = new JobRepositoryFactoryBean();
      factory.setDataSource(dataSource);
      factory.setTransactionManager(transactionManager);
      factory.setIsolationLevelForCreate("ISOLATION_READ_COMMITTED");
      factory.setLockTimeout(5000L); // 5秒超时，可根据实际调整
      return factory.getObject();
  }
  

2. 管控Job实例并发执行

如果存在同一Job的多个实例并发启动的情况，需要额外处理：

• 用JobParameters区分不同实例，确保每个启动请求都是唯一的；
• 设置Job的preventRestart = true（如果不需要重启功能），避免重复启动同一实例；
• 自定义JobExecutionListener，在Job启动前检查是否有正在运行的同Job实例，如有则跳过或等待。

3. 关于临界区方案的评价

你提到的临界区方案是可行的，但属于全局串行化的粗暴方式，会牺牲系统并发能力：

• 若两个Job必须完全串行执行，可采用这种方式（比如用Java的ReentrantLock实现本地临界区，或用数据库分布式锁实现跨进程串行）；
• 若Job本身可以并行，更推荐优先优化元数据锁配置，保留并发能力。

4. 优化JobLauncher线程池

针对多线程的jobCombineLauncher，合理控制线程池大小，避免同时启动过多Job实例加剧锁竞争：

@Bean
public JobLauncher jobCombineLauncher(JobRepository jobRepository) {
    SimpleJobLauncher launcher = new SimpleJobLauncher();
    launcher.setJobRepository(jobRepository);
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setCorePoolSize(3); // 根据任务实际并发需求调整
    executor.setMaxPoolSize(5);
    executor.setQueueCapacity(10);
    executor.initialize();
    launcher.setTaskExecutor(executor);
    return launcher;
}

内容的提问来源于stack exchange，提问作者Aleksandr Litvinenko