基于Apache Kafka请求/响应的Spring非阻塞HTTP轮询需求问询

这个方案完全适配你要的「控制器发Kafka请求不阻塞，通过HTTP轮询拿响应」的需求，核心是把请求发送、业务处理、响应查询三个环节彻底解耦，全程无阻塞等待。

核心设计逻辑 #

• 控制器发Kafka请求时，生成唯一requestId作为请求的唯一标识，直接把这个ID返回给调用方（或自己留存），不用等服务处理
• 后端服务消费Kafka消息完成业务处理后，把响应和对应的requestId绑定存在缓存里
• 控制器提供一个HTTP端点，调用方拿着requestId定期轮询这个端点，直到拿到处理完成的响应

具体实现步骤 #

1. 控制器发送请求（带唯一标识） #

以Java Spring Boot为例，异步发送Kafka消息，不阻塞主线程：

@Autowired
private KafkaTemplate<String, RequestMessage> kafkaTemplate;

// 对外提供的请求接口，返回requestId供轮询
public String submitRequest(BusinessPayload payload) {
    // 生成全局唯一的请求ID
    String requestId = UUID.randomUUID().toString();
    RequestMessage request = new RequestMessage(requestId, payload);
    // 异步发送到Kafka，立即返回，不等待处理结果
    kafkaTemplate.send("business-requests", requestId, request);
    return requestId;
}

RequestMessage是个简单的DTO，包含requestId和具体的业务请求数据。

2. 服务端处理请求并存储响应 #

服务端消费Kafka消息，处理完把响应存到Redis（或其他缓存）：

@KafkaListener(topics = "business-requests")
public void processRequest(ConsumerRecord<String, RequestMessage> record) {
    RequestMessage request = record.value();
    String requestId = request.getRequestId();
    
    // 执行实际的业务处理逻辑
    BusinessResponse response = businessService.handleRequest(request.getPayload());
    
    // 把响应存到Redis，设置1小时过期（避免无效数据占存储）
    redisTemplate.opsForValue().set("response:" + requestId, response, 1, TimeUnit.HOURS);
}

用Redis是因为它查询速度快，还支持自动过期，特别适合这种临时存响应的场景。

3. 实现HTTP轮询端点 #

控制器提供GET接口，调用方用requestId查响应状态：

@GetMapping("/check-response/{requestId}")
public ResponseEntity<PollResult> checkResponse(@PathVariable String requestId) {
    String cacheKey = "response:" + requestId;
    BusinessResponse response = (BusinessResponse) redisTemplate.opsForValue().get(cacheKey);
    
    if (response == null) {
        // 响应还没好，返回202状态，告诉调用方继续等
        return ResponseEntity.accepted().body(new PollResult("PENDING", "请求处理中，请稍后重试"));
    } else {
        // 响应就绪，返回结果，顺便删掉缓存（可选，看业务需求）
        redisTemplate.delete(cacheKey);
        return ResponseEntity.ok(new PollResult("SUCCESS", "处理完成", response));
    }
}

PollResult是个通用的返回结构，包含状态码、提示信息和响应数据。

必注意的几个点 #

• 请求ID必须唯一：一定要用UUID、雪花算法这种能保证全局唯一的生成方式，避免不同请求的响应搞混
• 缓存过期要设置：给响应缓存加个合理的过期时间（比如1小时），不然没用的响应会一直占着存储
• 轮询频率别太密：建议调用方设置1-5秒的轮询间隔，太频繁会把服务器压垮
• 异常情况要处理：如果服务处理失败了，也要把错误状态存到缓存里，轮询时返回给调用方，别让人家无限等
• Kafka消息要可靠：如果要求请求不能丢，要开Kafka的acks=all确认机制，服务端消费时也要做幂等处理，防止重复消费

内容的提问来源于stack exchange，提问作者Gary Russell