如何用Cron和Sidekiq实现每周随机化定时爬虫任务调度？

你的代码存在两个核心问题 #

1. Cron表达式语法错误
   你的random_cron_expression方法返回的表达式末尾多了一个多余的}，这会导致Sidekiq无法正确解析Cron规则，进而触发异常调度逻辑（比如每秒重复执行）。

2. Sidekiq定时任务用法错误
   set(cron: ...).perform_async是错误的组合：perform_async是立即将任务推入执行队列，而set(cron: ...)并非用来创建定期重复任务的API，这种写法根本无法实现你想要的定时触发效果。

正确实现方案 #

要实现每周随机时间触发的任务，你需要使用sidekiq-cron gem（Sidekiq官方推荐的定时任务扩展），步骤如下：

1. 安装并配置Sidekiq-Cron #

首先在Gemfile中添加：

gem 'sidekiq-cron'

执行bundle install后，在Sidekiq初始化文件（比如config/initializers/sidekiq.rb）中添加配置：

require 'sidekiq/cron'

Sidekiq::Cron::Job.load_from_hash YAML.load_file(Rails.root.join('config/schedule.yml')) if Rails.env.production?

2. 编写正确的随机定时任务代码 #

替换你原来的方法，用sidekiq-cron的API创建/更新定时任务：

def set_random_weekly_schedule(author_name)
  cron_expression = random_weekly_cron_expression
  # 创建或更新定时任务，避免重复创建
  Sidekiq::Cron::Job.create_or_update(
    name: "Scrape for #{author_name} (weekly random)",
    cron: cron_expression,
    class: self.class.name,
    args: [author_name]
  )
end

def random_weekly_cron_expression
  # Cron格式：分(0-59) 时(0-23) 日(1-31) 月(1-12) 周(0-6，0代表周日)
  # 这里生成每周随机一天、随机小时、随机分钟的表达式
  "#{rand(0..59)} #{rand(0..23)} * * #{rand(0..6)}"
end

3. 实现任务执行后自动更新下一次调度 #

如果希望每次任务执行完成后，自动设置下一周的随机时间，可以在任务的perform方法末尾调用set_random_weekly_schedule：

def perform(author_name)
  # 你的爬虫/抓取逻辑代码
  # ...

  # 任务完成后，更新下一次的随机调度时间
  set_random_weekly_schedule(author_name)
end

关键说明 #

• 确保Sidekiq和Sidekiq-Cron的进程正常运行：启动Sidekiq时，Cron任务调度器会自动加载并运行。
• create_or_update方法会根据任务名称判断是创建新任务还是更新已有任务，避免重复生成任务。
• 正确的Cron字段顺序是分 时 日 月 周，不要搞混顺序，否则调度时间会完全不符合预期。

内容的提问来源于stack exchange，提问作者TheCodeSommelier