Java Spring @Scheduled任务调度器部署至远程环境运行异常如何排查

相关调度代码 #

@Scheduled(cron = "0 0 * * * *")
@SchedulerLock(name = "resourcePoolPredictionCalculate", lockAtMostFor = "30m", lockAtLeastFor = "30m")
public void refresh() {
    LocalDateTime start = LocalDateTime.now();
    repository.procResourcePoolPrepare();
    repository.procResourcePoolUpdate();
    log.info("[ResourcePoolPredictionTask] start at "+ start+" and lasted "+ ChronoUnit.SECONDS.between(start,LocalDateTime.now())+" seconds");
}

错误日志 #

org.springframework.transaction.CannotCreateTransactionException: Could not open JPA EntityManager for transaction; nested exception is org.hibernate.exception.JDBCConnectionException: Unable to acquire JDBC Connection
at org.springframework.orm.jpa.JpaTransactionManager.doBegin(JpaTransactionManager.java:448) ~[spring-orm-5.2.7.RELEASE.jar!/:5.2.7.RELEASE]
at org.springframework.transaction.support.AbstractPlatformTransactionManager.startTransaction(AbstractPlatformTransactionManager.java:400) ~[spring-tx-5.2.7.RELEASE.jar!/:5.2.7.RELEASE]
at org.springframework.transaction.support.AbstractPlatformTransactionManager.getTransaction(AbstractPlatformTransactionManager.java:373) ~[spring-tx-5.2.7.RELEASE.jar!/:5.2.7.RELEASE]
at org.springframework.transaction.interceptor.TransactionAspectSupport.createTransactionIfNecessary(TransactionAspectSupport.java:573) ~[spring-tx-5.2.7.RELEASE.jar!/:5.2.7.RELEASE]
at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:361) ~[spring-tx-5.2.7.RELEASE.jar!/:5.2.7.RELEASE]
at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:118) ~[spring-tx-5.2.7.RELEASE.jar!/:5.2.7.RELEASE]
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186) ~[spring-aop-5.2.7.RELEASE.jar!/:5.2.7.RELEASE]
at org.springframework.dao.support.PersistenceExceptionTranslationInterceptor.invoke(PersistenceExceptionTranslationInterceptor.java:139) ~[spring-tx-5.2.7.RELEASE.jar!/:5.2.7.RELEASE]
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186) ~[spring-aop-5.2.7.RELEASE.jar!/:5.2.7.RELEASE]
at org.springframework.data.jpa.repository.support.CrudMethodMetadataPostProcessor$CrudMethodMetadataPopulatingMethodInterceptor.invoke(CrudMethodMetadataPostProcessor.java:178) ~[spring-data-jpa-2.3.1.RELEASE.jar!/:2.3.1.RELEASE]

1. 数据库连接相关配置差异 #

• 连接池参数不一致：远程环境的数据库连接池最大连接数设置过小，调度任务调用的存储过程执行耗时较长，长时间占用连接，同时远程环境存在其他业务线程并发争抢连接，任务触发时无可用连接就会抛出异常退出，表观现象就是任务未触发。本地环境连接池配置通常更宽松，且无其他业务流量争抢连接，因此不会出现该问题。
• 连接有效性校验缺失：若远程环境未开启连接池的testOnBorrow、testWhileIdle等有效性校验配置，连接池内的空闲连接被数据库/防火墙主动断开后，调度任务拿到无效连接就会触发报错。
• 数据库账号权限差异：远程环境使用的数据库账号可能设置了更低的单账号最大连接数限制，连接数达到上限后无法新建连接，本地使用的账号无该限制。

2. 网络链路配置差异 #

本地到远端数据库的网络链路通常无额外超时限制，而远程服务器与数据库之间的网络链路可能存在防火墙、安全组的空闲连接超时策略：超过一段时间无流量的TCP连接会被主动断开，连接池未及时清理无效连接就会导致调度任务拿连接失败。这类网络波动问题会导致任务有时能拿到可用连接正常执行，有时触发报错，完全匹配你观察到的时好时坏现象。

3. 分布式锁逻辑异常 #

你使用了基于数据库的分布式锁@SchedulerLock，锁的过期判断高度依赖时钟同步：

• 若远程服务器的系统时钟与数据库时钟不同步，会导致锁的过期时间计算错误，比如本应30分钟后释放的锁，因为时钟差一直处于持有状态，后续调度任务拿不到锁就不会执行。
• 若远程环境部署了多应用实例，某一个实例执行任务时拿到锁但后续获取连接失败异常退出，锁没有被正常释放，也会导致后续调度无法触发。本地通常是单实例运行，不会出现多实例抢锁的冲突问题。

4. 调度线程池配置差异 #

Spring默认的@Scheduled调度线程池核心线程数仅为1，若远程环境还部署了其他调度任务，正好在该小时任务触发时线程被其他任务占用，或者上一次任务执行异常后卡住占用了唯一的调度线程，都会导致任务无法触发。本地环境通常仅运行这一个调度任务，不存在线程资源争抢问题。

内容的提问来源于stack exchange，提问作者SimonNechypurenko