You need to enable JavaScript to run this app. 如何降低Solace消费者应用的消息消费速率,避免内存溢出问题
优惠活动
大模型
产品
解决方案
定价
更多

如何降低Solace消费者应用的消息消费速率,避免内存溢出问题

Solace JMS消费限速解决方案

原配置不生效的原因

  • 你配置的SOLACE_JMS_CONSUMER_DEFAULT_FLOW_CONGESTION_LIMIT是客户端内部缓冲触发拥塞控制的阈值,Spring JMS默认监听器会快速消费客户端缓冲内的消息,该阈值基本不会被触发
  • SOLACE_JMS_CONSUMER_DISPATCHER_QUEUE_SIZE是Solace客户端内部调度队列的大小,只要上层消费速度够快,该限制无法阻止服务端持续推送消息
  • 你使用的DelayedQueue是无界队列,短时间拉入的大量消息会全部堆积在堆内存中,最终触发GC overhead OOM

可行解决方案

方案1:调整Solace JMS核心参数,结合手动签收做流量控制

首先替换之前的无效配置,设置服务端预取消息上限,配合客户端手动签收实现天然背压:

// 控制服务端一次最多向客户端推送2500条未确认的消息,用完之前不会再推送
environment.put(SupportedProperty.SOLACE_JMS_CONSUMER_MAX_MESSAGE_PREFETCH, 2500);
// 关闭自动签收,改为业务侧手动确认,Spring JMS配置示例
factory.setSessionAcknowledgeMode(Session.CLIENT_ACKNOWLEDGE);

注意:不要在拉取到消息时立刻确认,要等消息延迟到期、成功推送到队列B之后再调用message.acknowledge(),此时服务端才会推送下一批消息,自然将消费速率限制在和你下游处理速率匹配的水平。

方案2:应用侧实现精准限速

如果需要严格控制每秒消费2-3K条,可使用Guava RateLimiter做全局限速:

  1. 引入Guava依赖(项目中已有可跳过)
  2. 初始化全局限流器:
// 限速为每秒2500条,可根据实际需求调整为2000~3000区间值
private final RateLimiter consumerRateLimiter = RateLimiter.create(2500.0);
  1. 在消息消费逻辑最前面申请令牌:
@JmsListener(destination = "队列A的名称")
public void consume(Message message) {
    // 申请令牌,拿不到会阻塞,自然限制消费速度
    consumerRateLimiter.acquire();
    // 后续逻辑:放入DelayedQueue等待延迟
}

方案3:使用有界延迟队列实现背压

DelayedQueue默认是无界的,你可以封装为有界队列,当队列中积压的消息超过阈值(建议设置为 3000条/秒 * 10秒延迟 = 30000条)时,阻塞消费线程,不再拉取新消息:

// 自定义有界延迟队列
public class BoundedDelayedQueue<E extends Delayed> {
    private final DelayQueue<E> delegate = new DelayQueue<>();
    private final int maxCapacity;
    private final Object lock = new Object();

    public BoundedDelayedQueue(int maxCapacity) {
        this.maxCapacity = maxCapacity;
    }

    public void put(E e) throws InterruptedException {
        synchronized (lock) {
            while (delegate.size() >= maxCapacity) {
                lock.wait();
            }
            delegate.put(e);
        }
    }

    public E take() throws InterruptedException {
        synchronized (lock) {
            E e = delegate.take();
            lock.notifyAll();
            return e;
        }
    }
}

初始化队列时设置最大容量为30000,当队列满时,消费消息放入队列的逻辑会自动阻塞,停止从Solace拉取新消息,从根源避免内存溢出。

推荐组合方案

建议同时开启方案1(预取限制+手动签收)+ 方案2(RateLimiter限速),既可以保证限速精准,又可以避免异常场景下的消息丢失,同时控制内存中的消息总量,彻底解决OOM问题。

内容的提问来源于stack exchange,提问作者Rohit

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.11 19:09:01