Rqueue已完成任务未及时清理导致处理变慢的优化方案咨询

Rqueue 默认确实会保留已成功执行的任务消息直到TTL到期才清理，针对大批量消息入队的场景，可以通过以下配置直接实现任务完成立即删除，或加速清理流程，避免无效数据积压拖慢处理速度：

• 全局配置任务成功后立即删除
  在项目配置文件中添加如下配置，所有队列的任务执行成功后会立刻删除Redis中对应的消息体、元数据，完全不等待TTL到期：

  rqueue:
    listener:
      keep-successful-message: false
  

• 单队列粒度配置立即删除
  如果只需要对高吞吐的特定队列开启立即删除、其他队列保留默认的TTL保留逻辑，可以直接在对应队列的监听器注解上配置参数，不影响全局规则：

  @RqueueListener(value = "your-big-volume-queue", keepSuccessfulMessage = "false")
  public void processYourTask(TaskData data) {
      // 业务处理逻辑
  }
  

• 保留短周期审计场景的加速清理方案
  如果业务需要短时间保留成功任务记录用于排查问题，不需要立即删除，可以缩短成功消息的保留时长，替代默认的长TTL：
  全局配置示例（成功消息仅保留1分钟）：

  rqueue:
    listener:
      success-visibility-timeout: PT1M
  

  单队列配置示例（成功消息仅保留30秒）：

  @RqueueListener(value = "your-big-volume-queue", successVisibilityTimeout = "PT30S")
  public void processYourTask(TaskData data) {
      // 业务处理逻辑
  }
  

• 高吞吐场景的清理性能优化
  针对30万级以上的消息量级，还可以调小后台清理线程的执行间隔，让清理任务更频繁地扫描残留数据，避免瞬时积压：

  rqueue:
    reaper:
      interval: 1000 # 单位毫秒，配置为每1秒执行一次清理
  

  如果调整配置前已经存在大量历史积压的已完成消息，可以在服务重启后调用RqueueMessageManager提供的clearAllSuccessfulMessages()方法，一次性清理存量无效数据，避免存量数据拖慢新任务的处理效率。

说明：以上配置仅影响Redis中的消息存储，如果开启了Rqueue的执行结果数据库持久化功能，数据库中的任务执行记录不会被删除，不影响审计溯源。

内容的提问来源于stack exchange，提问作者The Freelancers