如何避免Ruby on Rails中大量Sidekiq作业超出Shopify API调用限制？

嘿，针对你在Ruby on Rails里用Sidekiq Worker调用Shopify API的限流需求，我给你梳理一套靠谱的实现方案，刚好适配Shopify每秒2次的调用限制！

核心思路：基于Redis的时间窗口限流 #

因为Sidekiq本身依赖Redis，咱们直接用Redis做计数和时间窗口管理，既能保证多进程/多线程环境下的线程安全，又能精准控制每秒的调用次数。

完整的Synchronizer类实现 #

我把你的初始类补全并优化，增加了原子操作和递归重试逻辑：

# frozen_string_literal: true

class Synchronizer
  attr_reader :shop_id, :queue_name, :limit, :wait_time

  def initialize(shop_id:, queue_name:, limit: 2, wait_time: 1)
    @shop_id = shop_id
    @queue_name = queue_name
    @limit = limit    # 每秒允许的API调用次数
    @wait_time = wait_time  # 时间窗口（秒）
    @redis = Sidekiq.redis # 直接复用Sidekiq的Redis连接
  end

  # 尝试获取API调用权限，超过限制则等待后重试
  def acquire(max_retries: 5)
    current_window = current_time_window
    # 按店铺、队列、时间窗口生成唯一key，确保限流是单店铺维度的
    key = "shopify_api_limit:#{shop_id}:#{queue_name}:#{current_window}"

    # 用Redis事务保证计数和过期时间设置是原子操作，避免竞态条件
    count = @redis.multi do |pipeline|
      pipeline.incr(key)
      pipeline.expire(key, wait_time)
    end.first

    if count > limit
      if max_retries <= 0
        # 超过最大重试次数时抛出异常，让Sidekiq重新入队任务
        raise ShopifyApiRateLimitExceeded, "Shop #{shop_id} hit API rate limit, will retry later"
      end
      sleep(wait_time) # 等待到下一个时间窗口
      acquire(max_retries: max_retries - 1) # 递归重试
    end
  end

  private

  # 生成当前时间窗口的标识（每wait_time秒一个窗口）
  def current_time_window
    (Time.now.to_i / wait_time).to_s
  end
end

# 自定义异常类，用于标识限流触发的重试
class ShopifyApiRateLimitExceeded < StandardError; end

在Sidekiq Worker里使用同步器 #

把同步逻辑嵌入到Worker中，确保每次API调用前先获取权限：

class ShopifyApiWorker
  include Sidekiq::Worker
  sidekiq_options queue: :shopify_api # 单独的队列方便管理

  def perform(shop_id, task_params)
    # 初始化同步器，针对当前店铺单独限流
    synchronizer = Synchronizer.new(shop_id: shop_id, queue_name: :shopify_api)
    
    # 先获取API调用权限，超过限制会自动等待
    synchronizer.acquire

    # 执行Shopify API调用逻辑
    shop = Shop.find(shop_id)
    ShopifyAPI::Base.activate_session(shop.session)
    
    # 示例：获取店铺订单
    orders = ShopifyAPI::Order.all(params: task_params)
    # 这里写你的业务处理逻辑...
  ensure
    # 务必清理Shopify会话，避免交叉污染
    ShopifyAPI::Base.clear_session
  end
end

进阶优化：用Sidekiq中间件统一处理限流 #

如果有多个Shopify相关的Worker，不想每个都写重复代码，可以用Sidekiq中间件统一注入限流逻辑：

# app/middleware/shopify_rate_limit_middleware.rb
class ShopifyRateLimitMiddleware
  def call(worker, job, queue)
    # 假设Job的第一个参数是shop_id，根据你的实际参数调整
    shop_id = job['args'].first
    return yield unless shop_id.present?

    synchronizer = Synchronizer.new(shop_id: shop_id, queue_name: queue)
    synchronizer.acquire
    yield
  end
end

# 在config/initializers/sidekiq.rb中注册中间件
Sidekiq.configure_server do |config|
  config.server_middleware do |chain|
    chain.add ShopifyRateLimitMiddleware
  end
end

关键注意事项 #

• 单店铺维度限流：Shopify的API限制是每个店铺独立的，所以一定要把shop_id作为限流key的一部分，避免不同店铺的请求互相影响。
• 原子操作：用Redis的multi管道保证计数和过期时间设置是原子的，防止多个Worker同时操作导致计数不准确。
• 重试机制：加入最大重试次数，避免无限等待；抛出异常后Sidekiq会自动把任务重新入队，后续再尝试。

内容的提问来源于stack exchange，提问作者Nafaa Boutefer