Spring Boot场景下如何等待数据库记录并执行后续处理？

问题背景 #

外部API将事件发送至Kafka Topic，后端消费事件后插入数据库；前端调用/execute API时，需基于该事件完成业务处理。当前拟采用的方案是后端阻塞轮询数据库（每5秒查一次，最多等2分钟），找到记录则执行处理，超时返回错误；现有实现使用Thread.sleep()做轮询间隔，存在资源浪费、阻塞请求线程的问题。

以下是可说服架构师的更优方案：

方案1：基于Kafka的事件驱动通知（首推） #

核心思路 #

彻底放弃轮询逻辑，利用Kafka的消息链路实现实时触发，避免无效的DB查询和线程阻塞。

具体实现 #

1. 前端调用/execute时，后端生成唯一requestId，用非阻塞方式挂起请求（如Spring的DeferredResult、Reactor的Mono），同时将requestId与事件关联信息存入Redis等缓存。
2. Kafka消费者成功将事件插入DB后，检查缓存中是否有等待该事件的requestId：
   • 若存在，直接触发/execute对应的处理逻辑，完成后通过requestId唤醒挂起的前端请求，返回结果。
   • 若不存在，将事件信息存入缓存，等前端后续调用/execute时直接处理。
3. 为挂起的请求设置2分钟超时，超时后自动返回错误。

核心优势 #

• 资源利用率拉满：挂起的请求不占用线程资源，仅消耗少量内存，避免后端线程池被长时间阻塞。
• 响应实时性强：事件入库后立即触发处理，无轮询间隔延迟。
• DB压力骤降：完全消除周期性DB查询的无效请求。

方案2：前端长轮询（兼容现有架构的过渡方案） #

如果暂时无法修改Kafka消费链路，可采用长轮询替代后端阻塞轮询：

核心思路 #

前端发起/execute后，后端不阻塞等待，而是返回临时标识；前端再发起长轮询请求，后端用非阻塞方式等待事件触发，超时则返回。

具体实现 #

1. 前端调用/execute，后端生成requestId并返回，告知前端等待事件就绪通知。
2. 前端调用/waitForEvent?requestId=xxx，后端将该请求挂起，监听事件入库信号。
3. Kafka消费者插入DB后，触发通知逻辑，唤醒对应的/waitForEvent请求，返回事件就绪状态。
4. 前端收到就绪通知后，再次调用/execute完成处理。

核心优势 #

• 释放后端线程资源：避免线程被长时间占用，适配高并发场景。
• 降低交互开销：相比普通轮询，大幅减少HTTP请求次数。

方案3：基于数据库CDC/触发器的通知 #

核心思路 #

利用数据库的变更捕获能力，在事件记录插入时主动触发通知，替代轮询逻辑。

具体实现 #

1. 在事件表上创建触发器，或启用数据库CDC（如MySQL Binlog、PostgreSQL WAL），当有新记录插入时，推送消息到内部消息队列（如Redis Pub/Sub、RabbitMQ）。
2. 后端/execute请求挂起后，订阅对应消息队列的主题，等待事件通知。
3. 收到通知后立即执行处理逻辑，超时则返回错误。

核心优势 #

• 无需修改Kafka消费逻辑，利用数据库原生能力实现实时通知。
• 彻底消除DB轮询，降低数据库查询压力。

为什么不推荐前端普通轮询（新增/checkStatus API） #

前端每隔几秒调用一次/checkStatus存在明显弊端：

• HTTP开销大：高并发场景下会产生大量无效请求，加重后端负担。
• 响应延迟高：最快也要等一个轮询间隔才能感知事件就绪。
• 用户体验差：频繁请求可能导致页面卡顿或网络资源浪费。

方案对比总结 #

内容的提问来源于stack exchange，提问作者Akash E