You need to enable JavaScript to run this app. Spring Rest中实现批量请求聚合的Asynchronous Worker实践咨询
优惠活动
大模型
产品
解决方案
定价
更多

Spring Rest中实现批量请求聚合的Asynchronous Worker实践咨询

Spring 接口攒批触发下游调用的落地实现方案

你现在的场景核心是要把原来每次请求就打下游的逻辑,改成攒够一定数量或者等固定时长就批量调用,要兼顾两个核心目标:一是不能让客户端等太久,二是能最大程度减少下游的请求次数。这套逻辑完全可以用Spring原生的能力实现,不需要引入第三方组件,对新手也友好。

核心实现思路拆解

整个逻辑的本质是把原来的同步阻塞请求,拆成「请求挂起入队」和「异步批量处理回传结果」两个环节,绕开原来每个请求直接调用下游的路径,攒批的收益完全可以覆盖少量的请求等待延迟:

  • 每个进入接口的客户端请求,不立刻处理,而是把请求参数和结果回传句柄存到线程安全的攒批队列里
  • 独立的异步线程负责实时检查队列状态,满足触发条件(满10个/最早请求等满5秒)就拉取队列里的请求,合并参数批量调用下游
  • 拿到下游返回结果后,再把每个客户端对应的结果通过提前存好的句柄回传,完成整个请求响应流程

具体组件实现

1. 改造原有接口为异步挂起模式

首先要避免的是占着Tomcat的工作线程干等攒批,Spring MVC本身原生支持异步返回类型,只要方法返回CompletableFuture,就会自动释放请求线程,等future完成后再把结果写回响应,不会浪费线程资源。

  • 先定义每个攒批请求的实体类,用来存三个核心信息:本次请求的currencyCode参数、用来回传结果的CompletableFuture句柄、请求入队的时间戳
  • 把原来的同步接口改成异步返回,请求到达后直接把实体丢进攒批队列,返回对应的future即可,示例代码:
// 线程安全的攒批队列,设置最大容量1000做积压防护
private final BlockingQueue<BatchRequestItem> batchQueue = new LinkedBlockingQueue<>(1000);
// 单例RestTemplate,复用连接池
private final RestTemplate restTemplate = new RestTemplate();

@RequestMapping("/getCurrency")
public CompletableFuture<JSONObject> getCurrency(@RequestParam List<String> currencyCode) {
    // 构建单请求的攒批实体
    BatchRequestItem requestItem = new BatchRequestItem(
        currencyCode,
        new CompletableFuture<>(),
        System.currentTimeMillis()
    );
    // 请求入队
    batchQueue.offer(requestItem);
    // 给future加超时兜底,最多等6秒,超过直接返回504,避免客户端无限等待
    requestItem.getResponseFuture().orTimeout(6, TimeUnit.SECONDS)
        .exceptionally(e -> {
            JSONObject err = new JSONObject();
            err.put("code", 504);
            err.put("msg", "请求处理超时");
            return err;
        });
    return requestItem.getResponseFuture();
}

2. 实现攒批触发的异步Worker

不要用死循环轮询的方式写Worker,对CPU不友好还容易出现触发不及时的问题,直接用Spring自带的定时任务能力就足够,单线程运行避免重复拉取队列数据:

  • 配置一个独立的单线程池运行批量任务,不要和定时任务的公共线程池混用
  • 定时任务每100ms扫一次队列,同时校验两个触发条件:
    • 队列当前请求数 >=10:立刻拉取最多10个请求出来批量处理
    • 队列里最早入队的请求,距离当前时间已经满5秒:不管队列有几个请求,全拉出来处理,避免最早的请求等超时
  • 拉取请求的时候加锁,防止并发触发重复调用下游,核心处理逻辑示例:
// 批量处理的锁,防止并发拉取队列
private final ReentrantLock batchLock = new ReentrantLock();

@Scheduled(fixedDelay = 100) // 每100ms扫描一次队列
public void processBatch() {
    // 加锁,保证同一时间只有一个批量任务在执行
    if (!batchLock.tryLock()) return;
    try {
        List<BatchRequestItem> batchItems = new ArrayList<>();
        int queueSize = batchQueue.size();
        // 满足满10个的触发条件,拉10个
        if (queueSize >=10) {
            batchQueue.drainTo(batchItems, 10);
        } else if (queueSize >0) {
            // 检查最早的请求是不是已经等了5秒
            long earliestTime = batchQueue.peek().getEnqueueTime();
            if (System.currentTimeMillis() - earliestTime >=5000) {
                batchQueue.drainTo(batchItems);
            }
        }
        if (batchItems.isEmpty()) return;

        // 合并所有请求的currencyCode,去重后拼批量参数
        Set<String> allCurrency = batchItems.stream()
            .flatMap(item -> item.getCurrencyCode().stream())
            .collect(Collectors.toSet());
        String batchParam = String.join(",", allCurrency);

        // 调用下游核心API,和你原来的逻辑保持一致
        URI targetUrl = UriComponentsBuilder.fromUriString(BASE_URL)
            .path("getCurrencyISO")
            .queryParam("q", batchParam)
            .build().encode().toUri();
        JSONObject resp = restTemplate.getForObject(targetUrl, JSONObject.class);

        // 遍历每个攒的请求,把对应的结果回传给客户端
        for (BatchRequestItem item : batchItems) {
            JSONObject itemResp = filterRespByCurrency(resp, item.getCurrencyCode());
            item.getResponseFuture().complete(itemResp);
        }
    } catch (Exception e) {
        // 下游调用失败的时候,要把这批所有请求的future都返回错误,不能让客户端干等
        // 实际工程中要在拉取批次的时候保存好引用,异常时统一给批次内所有请求返回错误信息
    } finally {
        batchLock.unlock();
    }
}

工程上的注意事项

  • 不要在拉取请求之后再判断超时,不然会出现请求已经被拉出来了,但是等拼参数调下游的时候又超了,一定要在拉取之前就校验最早请求的等待时长
  • 给队列设置最大容量,流量突增的时候超过容量直接快速失败,避免队列无限增长导致OOM
  • 组装批量参数的时候一定要对currencyCode去重,不然同一个币种被多个请求重复传,白白增加下游的压力
  • 不要像原来的代码那样每次请求都new RestTemplate,要把它做成单例Bean,复用HTTP连接池,减少连接创建的开销
  • 下游调用的超时时间要设置的比客户端的超时时间短,不然客户端已经超时断开了,你这边再拿到结果也没用了

内容的提问来源于stack exchange,提问作者osumatu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 21:27:00