Resilience4j CircuitBreaker在服务器环境无法进入半开状态

问题背景 #

基于SpringBoot应用使用Resilience4j实现断路器，本地测试完全正常，但部署到dev/ppe环境后，触发OPEN状态后无法自动切换到HALF_OPEN状态，也没有HALF_OPEN的状态日志。添加AspectJ依赖后问题仍未解决。

相关配置与代码 #

依赖配置 #

implementation 'org.springframework.cloud:spring-cloud-starter-circuitbreaker-resilience4j'
// 已尝试添加但无效的依赖
implementation 'org.aspectj:aspectjrt:1.9.7'
implementation 'org.aspectj:aspectjweaver:1.9.7'

断路器配置 #

resilience4j:
  circuitbreaker:
    instances:
      myEventCircuitBreaker:
        minimum-number-of-calls: 6
        failure-rate-threshold: 80
        automatic-transition-from-open-to-half-open-enabled: true
        wait-duration-in-open-state: 300s
        permitted-number-of-calls-in-half-open-state: 4
        sliding-window-size: 1000
        sliding-window-type: count_based

状态监听代码 #

@Slf4j
@Configuration
public class CircuitBreakerConfig {

    private final BindingsLifecycleController bindingsLifecycleController;

    public CircuitBreakerConfig(CircuitBreakerRegistry circuitBreakerRegistry, BindingsLifecycleController bindingsLifecycleController) {
        this.bindingsLifecycleController = bindingsLifecycleController;
        CircuitBreaker circuitBreaker = circuitBreakerRegistry.circuitBreaker("myEventCircuitBreaker");
        circuitBreaker.getEventPublisher()
            .onStateTransition(this::handleStateTransition);
    }

    private void handleStateTransition(CircuitBreakerOnStateTransitionEvent event) {
        String bindingName = "stockEventConsumer-in-0";
        switch (event.getStateTransition().getToState()) {
            case OPEN:
                log.info("circuitbreaker state:: open");
                bindingsLifecycleController.changeState(bindingName, State.PAUSED);
                break;
            case HALF_OPEN:
                log.info("circuitbreaker state:: half_open");
                bindingsLifecycleController.changeState(bindingName, State.RESUMED);
                break;
            case CLOSED:
                log.info("circuitbreaker state:: closed");
                bindingsLifecycleController.changeState(bindingName, State.RESUMED);
                break;
            default:
                log.error("circuitbreaker unknown state");
        }
    }
}

问题现象 #

• 本地：触发6次异常后，断路器正常进入OPEN状态，300秒后自动切换到HALF_OPEN状态，状态日志正常输出。
• 生产/预发：触发OPEN状态后，无HALF_OPEN状态日志，断路器一直停留在OPEN状态，无法自动切换。

排查与解决方案 #

1. 验证配置是否正确加载 #

生产环境中配置可能被其他配置文件覆盖，导致wait-duration-in-open-state或automatic-transition-from-open-to-half-open-enabled未生效：

• 通过Spring Boot Actuator的/actuator/circuitbreakers端点查看断路器的实际生效配置，对比本地和生产环境的配置差异。
• 确保配置文件优先级正确，没有被更高优先级的配置覆盖。

2. 检查线程池调度能力 #

Resilience4j依赖内置的ScheduledExecutorService处理状态切换定时任务，生产环境线程池资源不足可能导致定时任务无法触发：

• 自定义Resilience4j的线程池配置，确保有足够线程处理定时任务：

resilience4j:
  circuitbreaker:
    configs:
      default:
        executor-service: circuitBreakerExecutor
spring:
  task:
    scheduling:
      thread-name-prefix: circuit-breaker-scheduler-
      pool:
        size: 5

• 同时在配置类中定义对应的ExecutorService：

@Bean("circuitBreakerExecutor")
public ScheduledExecutorService circuitBreakerExecutor() {
    return Executors.newScheduledThreadPool(5);
}

3. 避免状态监听逻辑阻塞 #

handleStateTransition中的bindingsLifecycleController.changeState操作可能在生产环境阻塞线程，导致状态切换事件处理失败：

• 将状态变更操作改为异步执行，避免阻塞断路器的状态切换线程：

private void handleStateTransition(CircuitBreakerOnStateTransitionEvent event) {
    String bindingName = "stockEventConsumer-in-0";
    CompletableFuture.runAsync(() -> {
        switch (event.getStateTransition().getToState()) {
            case OPEN:
                log.info("circuitbreaker state:: open");
                bindingsLifecycleController.changeState(bindingName, State.PAUSED);
                break;
            case HALF_OPEN:
                log.info("circuitbreaker state:: half_open");
                bindingsLifecycleController.changeState(bindingName, State.RESUMED);
                break;
            case CLOSED:
                log.info("circuitbreaker state:: closed");
                bindingsLifecycleController.changeState(bindingName, State.RESUMED);
                break;
            default:
                log.error("circuitbreaker unknown state");
        }
    });
}

4. 排查断路器实例重复创建 #

如果存在多个同名的CircuitBreaker实例，状态监听可能只绑定到了其中一个实例上，导致状态变更无法被捕获：

• 在CircuitBreakerConfig的构造方法中添加日志，打印所有注册的断路器实例：

public CircuitBreakerConfig(CircuitBreakerRegistry circuitBreakerRegistry, BindingsLifecycleController bindingsLifecycleController) {
    this.bindingsLifecycleController = bindingsLifecycleController;
    // 打印所有断路器实例
    log.info("Registered circuit breakers: {}", circuitBreakerRegistry.getAllCircuitBreakers().map(CircuitBreaker::getName).collect(Collectors.toList()));
    CircuitBreaker circuitBreaker = circuitBreakerRegistry.circuitBreaker("myEventCircuitBreaker");
    circuitBreaker.getEventPublisher()
        .onStateTransition(this::handleStateTransition);
}

• 确保只有一个myEventCircuitBreaker实例存在，避免重复创建。

5. 检查依赖版本冲突 #

生产环境可能存在Resilience4j或Spring Cloud依赖版本冲突，导致功能异常：

• 使用依赖分析工具查看依赖树（Gradle：./gradlew dependencies；Maven：mvn dependency:tree），排除冲突的依赖，确保所有Resilience4j相关依赖版本一致。

6. 验证系统时间与时区 #

虽然概率较低，但生产环境系统时间或时区异常可能导致定时任务触发时间错误：

• 检查生产环境服务器的系统时间和时区设置，确保与本地环境一致。

内容的提问来源于stack exchange，提问作者arqam