WebFlux结合WebClient的背压问题:仅修改reallySlowApi时如何实现5秒1次接口限流?
实现思路
严格遵循仅修改reallySlowApi方法、不改动外部业务链路的约束,核心要解决两个问题:
- 打破原来flatMap默认的高并发调用逻辑,把所有reallySlowApi的调用强制串行化
- 以上一次请求的实际完成时间为基准,等待满5秒再发起下一次调用,哪怕接口本身响应超时,也不会出现请求重叠
之前提到的delayElements方案本质是按固定时间从上游拉取元素,不会感知下游接口的实际完成状态,遇到慢接口时必然出现请求积压、并发重叠的问题,完全不满足场景要求。
可直接落地的代码
首先在reallySlowApi所在的类中,定义两个类级别的私有成员,作为全局调度的共享状态:
// 串行调度闸门,所有reallySlowApi的调用请求都进入这个队列排队 private final Sinks.Many<Long> scheduleGate = Sinks.many().unicast().onBackpressureBuffer(); // 记录上一次请求完成的时间戳,初始值为0表示首次请求可立即触发 private final AtomicLong lastCompleteTime = new AtomicLong(0L);
以下是完全修改后的reallySlowApi方法,外部原有调用链路不需要做任何调整:
private Mono<String> reallySlowApi() { // 完全保留原有WebClient请求逻辑,不改动接口调用细节 Mono<String> originalRequest = webClient .get() .retrieve() .bodyToMono(String.class); return scheduleGate.asFlux() // 串行处理队列里的所有请求,天然保证不会并发调用 .concatMap(trigger -> { long now = System.currentTimeMillis(); // 计算需要等待的时间:满5秒间隔再发下一次请求 long waitDuration = 5000L - (now - lastCompleteTime.get()); Mono<Void> waitStep = waitDuration > 0 ? Mono.delay(Duration.ofMillis(waitDuration)) : Mono.empty(); return waitStep // 等待结束后真正发起WebClient请求 .then(originalRequest) // 不管请求成功、失败还是被取消,都更新完成时间 .doFinally(signal -> lastCompleteTime.set(System.currentTimeMillis())); }) // 订阅时给闸门发初始信号,触发第一次请求 .doOnSubscribe(sub -> scheduleGate.tryEmitNext(1L)) // 只返回当前这次请求的结果,不残留订阅 .next() // 本次请求流程走完后,给闸门发信号放行下一个排队请求 .doFinally(signal -> scheduleGate.tryEmitNext(1L)); }
方案适配性说明
- 零侵入外部链路:所有限流、串行的逻辑都封装在reallySlowApi返回的Mono内部,原有代码中的
Flux.range().flatMap().subscribe()部分完全不需要修改,满足约束条件 - 完美适配慢接口场景:通过
concatMap的串行执行特性,哪怕某次WebClient请求响应耗时超过5秒,也会等本次请求完全结束后再启动下一次流程,绝对不会出现并发重叠调用 - 严格遵守间隔要求:等待时间的计算完全以上一次请求的实际完成时间为基准,而非固定时间窗口,从根源上避免了固定延迟方案在慢场景下的逻辑偏差
- 天然适配背压模型:闸门使用带背压缓冲的Sinks实现,上游Flux推送的100个请求会自动在队列中排队,不会出现无限制的内存占用,完全符合Reactor的响应式编程规范
注意:这个实现的调度粒度是单个应用实例级别,不会跨JVM实例生效;在当前约束下,这是能实现需求的最优非阻塞方案。
内容的提问来源于stack exchange,提问作者John Tribe
相关产品推荐
相关产品推荐

