Sidekiq Batch使用perform_in调度任务及回调等待完成的疑问

场景与问题描述 #

我正考虑使用Sidekiq::Batch，有如下场景及疑问：

示例代码中，我在Batch内用perform_in调度任务，最后一个MyJob会在5小时后执行：

batch = Sidekiq::Batch.new
batch.on(:success, MyCallback)
batch.jobs do
    5.times do |index|
        MyJob.perform_in((1 * index).hour, args)
    end
end

设置batch.on(:success, MyCallback)后，希望所有任务完成后触发回调操作，所有任务预计5小时左右完成。我的问题：

1. 这种情况下，回调会在所有任务完成后正确触发吗？
2. Batch在哪里等待任务完成，又是如何知晓所有任务已完成的？
3. 若存在大量此类长时间等待的Batch，会产生负面影响吗？

问题解答 #

1. 回调会正确触发吗？ #

会的。Sidekiq Batch会追踪所有被纳入批次的任务，不管任务是立即执行还是通过perform_in/perform_at延迟执行。只要所有任务（包括延迟的）都成功完成，:success回调就会被触发。

需要注意：如果某个任务执行失败且超出重试次数，批次会进入失败状态，:success回调不会触发，此时可以通过:failure回调处理这种情况。

2. Batch如何追踪任务完成？ #

Sidekiq Batch不会“主动等待”任务完成，而是通过Redis来追踪批次的状态：

• 创建Batch并添加任务时，每个任务都会被打上该批次的唯一标识（batch ID）。
• 每个任务执行完成后，Sidekiq会自动更新Redis中对应批次的任务计数。
• 当批次的所有任务都标记为完成时，Sidekiq会调度对应的回调任务（比如你的MyCallback）执行。

整个过程是异步的，没有进程会一直挂起等待，完全依赖Redis的状态记录和Sidekiq的后台处理机制。

3. 大量长时间Batch的影响？ #

会有一定负面影响，主要体现在Redis存储和Sidekiq的后台清理上：

• Redis内存占用：每个Batch的元数据（包括任务列表、状态、回调信息等）会一直存在于Redis中，直到批次完成（或被清理）。大量长时间运行的Batch会持续占用Redis内存，若数量过多可能导致内存压力上升。
• 清理机制压力：Sidekiq Batch默认会在批次完成后保留元数据一段时间（用于查看历史），但长时间未完成的批次会一直保留。如果积累过多，可能需要手动配置清理策略，避免Redis资源被持续占用。

建议：如果有大量这类长时间Batch，定期监控Redis内存使用情况，同时可以通过调整Sidekiq Batch的清理配置（比如设置较短的保留时间）来缓解压力。

内容的提问来源于stack exchange，提问作者user20925957