如何降低Solace消费者应用的消息消费速率,避免内存溢出问题
Solace JMS消费限速解决方案
原配置不生效的原因
- 你配置的
SOLACE_JMS_CONSUMER_DEFAULT_FLOW_CONGESTION_LIMIT是客户端内部缓冲触发拥塞控制的阈值,Spring JMS默认监听器会快速消费客户端缓冲内的消息,该阈值基本不会被触发 SOLACE_JMS_CONSUMER_DISPATCHER_QUEUE_SIZE是Solace客户端内部调度队列的大小,只要上层消费速度够快,该限制无法阻止服务端持续推送消息- 你使用的
DelayedQueue是无界队列,短时间拉入的大量消息会全部堆积在堆内存中,最终触发GC overhead OOM
可行解决方案
方案1:调整Solace JMS核心参数,结合手动签收做流量控制
首先替换之前的无效配置,设置服务端预取消息上限,配合客户端手动签收实现天然背压:
// 控制服务端一次最多向客户端推送2500条未确认的消息,用完之前不会再推送 environment.put(SupportedProperty.SOLACE_JMS_CONSUMER_MAX_MESSAGE_PREFETCH, 2500); // 关闭自动签收,改为业务侧手动确认,Spring JMS配置示例 factory.setSessionAcknowledgeMode(Session.CLIENT_ACKNOWLEDGE);
注意:不要在拉取到消息时立刻确认,要等消息延迟到期、成功推送到队列B之后再调用message.acknowledge(),此时服务端才会推送下一批消息,自然将消费速率限制在和你下游处理速率匹配的水平。
方案2:应用侧实现精准限速
如果需要严格控制每秒消费2-3K条,可使用Guava RateLimiter做全局限速:
- 引入Guava依赖(项目中已有可跳过)
- 初始化全局限流器:
// 限速为每秒2500条,可根据实际需求调整为2000~3000区间值 private final RateLimiter consumerRateLimiter = RateLimiter.create(2500.0);
- 在消息消费逻辑最前面申请令牌:
@JmsListener(destination = "队列A的名称") public void consume(Message message) { // 申请令牌,拿不到会阻塞,自然限制消费速度 consumerRateLimiter.acquire(); // 后续逻辑:放入DelayedQueue等待延迟 }
方案3:使用有界延迟队列实现背压
DelayedQueue默认是无界的,你可以封装为有界队列,当队列中积压的消息超过阈值(建议设置为 3000条/秒 * 10秒延迟 = 30000条)时,阻塞消费线程,不再拉取新消息:
// 自定义有界延迟队列 public class BoundedDelayedQueue<E extends Delayed> { private final DelayQueue<E> delegate = new DelayQueue<>(); private final int maxCapacity; private final Object lock = new Object(); public BoundedDelayedQueue(int maxCapacity) { this.maxCapacity = maxCapacity; } public void put(E e) throws InterruptedException { synchronized (lock) { while (delegate.size() >= maxCapacity) { lock.wait(); } delegate.put(e); } } public E take() throws InterruptedException { synchronized (lock) { E e = delegate.take(); lock.notifyAll(); return e; } } }
初始化队列时设置最大容量为30000,当队列满时,消费消息放入队列的逻辑会自动阻塞,停止从Solace拉取新消息,从根源避免内存溢出。
推荐组合方案
建议同时开启方案1(预取限制+手动签收)+ 方案2(RateLimiter限速),既可以保证限速精准,又可以避免异常场景下的消息丢失,同时控制内存中的消息总量,彻底解决OOM问题。
内容的提问来源于stack exchange,提问作者Rohit
相关产品推荐
相关产品推荐

