Spring Boot整合RabbitMQ慢消费者导致队列堆积，如何支撑每秒2万+消费？

现有配置存在核心设计缺陷，结合性能瓶颈，优化措施如下：

• 移除冗余@Async异步逻辑：当前SimpleRabbitListenerContainer本身自带消费线程池，额外叠加@Async会增加线程上下文切换开销，且你配置的拒绝策略会在队列满时阻塞主线程，反而降低消费速度；同时AcknowledgeMode.NONE模式下，RabbitMQ发完消息就标记投递完成，消息扔到本地线程池后若进程崩溃会直接丢失消息，无可靠性保障。
• 调整Rabbit消费容器配置
  • 调高并发消费者数量，将setConcurrentConsumers调整为50，setMaxConcurrentConsumers调整为150，可根据服务器CPU、内存资源灵活上调
  • 新增预取配置factory.setPrefetchCount(200)，限制单消费者一次性预取的消息数量，避免单消费者负载过高
  • 若对吞吐量要求更高，可将SimpleRabbitListenerContainerFactory替换为DirectRabbitListenerContainerFactory，高并发场景下性能提升30%以上
• 改单条消费为批量消费+批量入库：单条插入MySQL是当前最大性能瓶颈，做如下调整：

  // 容器配置新增批量参数
  factory.setBatchListener(true);
  factory.setConsumerBatchSize(100); // 每批最多消费100条
  factory.setBatchEnabled(true);
  
  // 消费方法调整为批量接收
  @RabbitListener(queues = {"${queue}"}, containerFactory = RABBIT_LISTENER_CONTAINER_FACTORY)
  public void onMessage(List<Message> messages) {
      // 批量处理消息后批量插入MySQL
      batchProcess(messages);
  }
  

  同时MySQL连接URL新增参数rewriteBatchedStatements=true，开启JDBC批量插入优化，单批100条插入性能是单条插入的20~50倍。
• 线程池配置优化：若仍需保留异步线程池，将QueueCapacity调整为1000以内，避免本地堆积过多消息，同时替换原有阻塞式拒绝策略为ThreadPoolExecutor.CallerRunsPolicy，由消费线程直接执行任务，实现自然背压。
• RabbitMQ队列侧优化
  • 若允许少量消息丢失，关闭队列持久化、消息持久化，减少磁盘IO开销
  • 将单队列拆分为多个分片队列，生产者按哈希规则将消息投递到不同分片，多个消费者分别消费不同分片，实现消费能力线性扩展
• MySQL侧优化：减少入库表的非必要索引，批量入库时每批绑定一次事务，调高数据库连接池最大连接数到和消费并发数匹配，进一步提升入库速度。

按照上述方案优化后，单实例消费能力可轻松达到5000条/秒以上，部署4个实例即可满足2万/秒的消费要求。

内容的提问来源于stack exchange，提问作者Nitish Raj