如何按Job类、队列名和参数查询Sidekiq队列避免任务重复入队

Sidekiq 底层基于 Redis 实现，本身没有内置类似 ActiveRecord 的关系查询能力，你期望的 Sidekiq::Queue.where 原生语法不存在，但可以通过以下几种方式实现需求，效率远高于你当前的遍历方案：

方案1：优先使用「唯一入队锁」（最高效，推荐） #

如果你的核心诉求是避免重复任务入队，不需要主动查询队列内容，直接用 sidekiq-unique-jobs Gem 实现，基于 Redis 原子操作实现O(1)复杂度的重复校验，完全不需要遍历队列：

• 安装Gem后，在Job类中加配置即可：

class SyncJob < ApplicationJob
  sidekiq_options unique: :until_executed, unique_args: ->(args) { args }
  # 其他业务逻辑
end

• 重复任务调用perform_later时会自动被拦截，不会重复入队，不需要自己写查询逻辑。

方案2：封装轻量查询方法（适合需要主动查询队列内容的场景） #

你现有的代码有两个严重的性能问题：1. 遍历所有队列，忽略了传入的queue_name参数；2. 对所有Job无条件反序列化参数。优化后的实现如下：

def find_queued_jobs(job_class, queue_name, arguments)
  # 直接定位到目标队列，不需要遍历所有队列
  queue = Sidekiq::Queue.new(queue_name)
  found = []
  # 用SCAN代替全量拉取，避免阻塞Redis
  queue.each do |job|
    # 先做轻量的类名匹配，不匹配直接跳过
    next unless job.display_class == job_class.to_s
    # 再匹配参数，避免不必要的反序列化
    deserialized_args = ActiveJob::Arguments.deserialize(job.args[0]['arguments'])
    found << job if deserialized_args == arguments
  end
  found
end

方案3：封装类ActiveRecord的查询语法 #

如果你想要更接近你期望的where调用方式，可以简单封装一个查询类：

class SidekiqQueueQuery
  def initialize(queue_name = nil)
    @queue = queue_name ? Sidekiq::Queue.new(queue_name) : Sidekiq::Queue.all
    @conditions = {}
  end

  def where(conditions)
    @conditions.merge!(conditions.symbolize_keys)
    self
  end

  def to_a
    found = []
    Array(@queue).each do |job|
      match = true
      # 匹配job类名
      if @conditions[:job_class]
        match &&= job.display_class == @conditions[:job_class].to_s
      end
      # 匹配参数
      if match && @conditions[:arguments]
        deserialized_args = ActiveJob::Arguments.deserialize(job.args[0]['arguments'])
        match &&= deserialized_args == @conditions[:arguments]
      end
      found << job if match
    end
    found
  end
end

# 调用方式和你期望的基本一致
SidekiqQueueQuery.new("high").where(job_class: "SyncJob", arguments: [1,2,3]).to_a

注意事项 #

• 所有遍历队列的方案在队列任务量超过1万时都会有明显性能损耗，高频校验场景优先用方案1的唯一锁
• 不要在业务请求的主流程中调用队列遍历查询，避免阻塞用户请求，最好放在后台异步逻辑中执行

内容的提问来源于stack exchange，提问作者sparkle