Spring Rest中实现批量请求聚合的Asynchronous Worker实践咨询
Spring 接口攒批触发下游调用的落地实现方案
你现在的场景核心是要把原来每次请求就打下游的逻辑,改成攒够一定数量或者等固定时长就批量调用,要兼顾两个核心目标:一是不能让客户端等太久,二是能最大程度减少下游的请求次数。这套逻辑完全可以用Spring原生的能力实现,不需要引入第三方组件,对新手也友好。
核心实现思路拆解
整个逻辑的本质是把原来的同步阻塞请求,拆成「请求挂起入队」和「异步批量处理回传结果」两个环节,绕开原来每个请求直接调用下游的路径,攒批的收益完全可以覆盖少量的请求等待延迟:
- 每个进入接口的客户端请求,不立刻处理,而是把请求参数和结果回传句柄存到线程安全的攒批队列里
- 独立的异步线程负责实时检查队列状态,满足触发条件(满10个/最早请求等满5秒)就拉取队列里的请求,合并参数批量调用下游
- 拿到下游返回结果后,再把每个客户端对应的结果通过提前存好的句柄回传,完成整个请求响应流程
具体组件实现
1. 改造原有接口为异步挂起模式
首先要避免的是占着Tomcat的工作线程干等攒批,Spring MVC本身原生支持异步返回类型,只要方法返回CompletableFuture,就会自动释放请求线程,等future完成后再把结果写回响应,不会浪费线程资源。
- 先定义每个攒批请求的实体类,用来存三个核心信息:本次请求的currencyCode参数、用来回传结果的
CompletableFuture句柄、请求入队的时间戳 - 把原来的同步接口改成异步返回,请求到达后直接把实体丢进攒批队列,返回对应的future即可,示例代码:
// 线程安全的攒批队列,设置最大容量1000做积压防护 private final BlockingQueue<BatchRequestItem> batchQueue = new LinkedBlockingQueue<>(1000); // 单例RestTemplate,复用连接池 private final RestTemplate restTemplate = new RestTemplate(); @RequestMapping("/getCurrency") public CompletableFuture<JSONObject> getCurrency(@RequestParam List<String> currencyCode) { // 构建单请求的攒批实体 BatchRequestItem requestItem = new BatchRequestItem( currencyCode, new CompletableFuture<>(), System.currentTimeMillis() ); // 请求入队 batchQueue.offer(requestItem); // 给future加超时兜底,最多等6秒,超过直接返回504,避免客户端无限等待 requestItem.getResponseFuture().orTimeout(6, TimeUnit.SECONDS) .exceptionally(e -> { JSONObject err = new JSONObject(); err.put("code", 504); err.put("msg", "请求处理超时"); return err; }); return requestItem.getResponseFuture(); }
2. 实现攒批触发的异步Worker
不要用死循环轮询的方式写Worker,对CPU不友好还容易出现触发不及时的问题,直接用Spring自带的定时任务能力就足够,单线程运行避免重复拉取队列数据:
- 配置一个独立的单线程池运行批量任务,不要和定时任务的公共线程池混用
- 定时任务每100ms扫一次队列,同时校验两个触发条件:
- 队列当前请求数 >=10:立刻拉取最多10个请求出来批量处理
- 队列里最早入队的请求,距离当前时间已经满5秒:不管队列有几个请求,全拉出来处理,避免最早的请求等超时
- 拉取请求的时候加锁,防止并发触发重复调用下游,核心处理逻辑示例:
// 批量处理的锁,防止并发拉取队列 private final ReentrantLock batchLock = new ReentrantLock(); @Scheduled(fixedDelay = 100) // 每100ms扫描一次队列 public void processBatch() { // 加锁,保证同一时间只有一个批量任务在执行 if (!batchLock.tryLock()) return; try { List<BatchRequestItem> batchItems = new ArrayList<>(); int queueSize = batchQueue.size(); // 满足满10个的触发条件,拉10个 if (queueSize >=10) { batchQueue.drainTo(batchItems, 10); } else if (queueSize >0) { // 检查最早的请求是不是已经等了5秒 long earliestTime = batchQueue.peek().getEnqueueTime(); if (System.currentTimeMillis() - earliestTime >=5000) { batchQueue.drainTo(batchItems); } } if (batchItems.isEmpty()) return; // 合并所有请求的currencyCode,去重后拼批量参数 Set<String> allCurrency = batchItems.stream() .flatMap(item -> item.getCurrencyCode().stream()) .collect(Collectors.toSet()); String batchParam = String.join(",", allCurrency); // 调用下游核心API,和你原来的逻辑保持一致 URI targetUrl = UriComponentsBuilder.fromUriString(BASE_URL) .path("getCurrencyISO") .queryParam("q", batchParam) .build().encode().toUri(); JSONObject resp = restTemplate.getForObject(targetUrl, JSONObject.class); // 遍历每个攒的请求,把对应的结果回传给客户端 for (BatchRequestItem item : batchItems) { JSONObject itemResp = filterRespByCurrency(resp, item.getCurrencyCode()); item.getResponseFuture().complete(itemResp); } } catch (Exception e) { // 下游调用失败的时候,要把这批所有请求的future都返回错误,不能让客户端干等 // 实际工程中要在拉取批次的时候保存好引用,异常时统一给批次内所有请求返回错误信息 } finally { batchLock.unlock(); } }
工程上的注意事项
- 不要在拉取请求之后再判断超时,不然会出现请求已经被拉出来了,但是等拼参数调下游的时候又超了,一定要在拉取之前就校验最早请求的等待时长
- 给队列设置最大容量,流量突增的时候超过容量直接快速失败,避免队列无限增长导致OOM
- 组装批量参数的时候一定要对currencyCode去重,不然同一个币种被多个请求重复传,白白增加下游的压力
- 不要像原来的代码那样每次请求都new
RestTemplate,要把它做成单例Bean,复用HTTP连接池,减少连接创建的开销 - 下游调用的超时时间要设置的比客户端的超时时间短,不然客户端已经超时断开了,你这边再拿到结果也没用了
内容的提问来源于stack exchange,提问作者osumatu
相关产品推荐
相关产品推荐

