Sidekiq队列并发原理及多队列并发数配置疑问

1. Sidekiq中每个队列的并发机制是如何运作的？ #

咱们先掰扯清楚Sidekiq的核心逻辑：它是靠一个全局线程池来处理任务的，不是每个队列单独搞线程池。具体运作流程是这样的：

• 你配置的并发数，是整个Sidekiq进程的总线程数量，这些线程会统一从Redis里拉取任务执行。
• 线程空闲时，会按照你配置的队列优先级顺序（比如先critical再default）去Redis的对应队列里找待处理任务。
• 如果有队列权重配置（比如critical:3, default:1），线程会按照权重比例来轮询队列——简单说就是每尝试取3次critical队列的任务，才会去看1次default队列，以此保证高优先级队列的任务被优先处理。
• 一旦线程拿到任务，就会执行它，执行完再回到空闲状态，继续轮询队列找下一个任务。

2. 关于并发数与线程术语的疑问 #

先直接给你答案：不是每个队列运行10个并发线程，而且“线程”这个术语是准确的。

具体解释下：

• 当你设置并发数为10时，Sidekiq进程会启动10个Ruby线程，这是整个进程的总并发能力。这些线程会共同去抢critical和default队列里的任务，不会给每个队列单独分配10个线程。比如如果critical队列一直有任务，那这10个线程可能都会去处理critical的任务，default队列的任务就得等critical队列空了才会被处理。
• 为什么说“线程”术语准确？因为Sidekiq确实是用Ruby线程来实现并发的。不过这里要补充个小细节：Ruby的GIL（全局解释器锁）会限制同一时间只有一个线程执行Ruby代码，所以如果你的任务是CPU密集型的，多线程没法真正并行；但如果是IO密集型任务（比如调用外部API、数据库读写），线程会在IO等待时释放GIL，这时候其他线程就能执行，所以并发效率还是很高的。

内容的提问来源于stack exchange，提问作者user402516