如何通过Sidekiq Swarm配置多进程绑定专属队列？

可以实现按进程划分专属队列的需求，但无法仅通过静态的sidekiq.yml配置完成——因为静态配置文件无法区分不同的Sidekiq进程。结合你当前使用的Sidekiq Swarm，这里提供两种可行的实现方案：

方案一：ERB动态配置文件（推荐） #

利用Sidekiq支持ERB模板配置的特性，结合Sidekiq Swarm自动为每个进程设置的SIDEKIQ_INDEX环境变量（从0开始计数），动态生成不同进程的队列规则：

1. 重命名并修改配置文件
   将原sidekiq.yml重命名为sidekiq.yml.erb，替换内容为：

:concurrency: 10

<% if ENV['SIDEKIQ_INDEX'] == '0' %>
# 进程1（索引0）仅处理update_data队列
:queues:
  - [update_data, 10]
:limits:
   update_data: 10
<% elsif ENV['SIDEKIQ_INDEX'] == '1' %>
# 进程2（索引1）仅处理import_data队列
:queues:
  - [import_data, 10]
:limits:
   import_data: 10
<% else %>
# 若后续扩展更多进程，保留原有队列配置（可根据需求调整）
:queues:
  - [mailers, 1]
  - [automation_rules, 1]
  - [automation_mailers, 1]
:limits:
   mailers: 2
   automation_rules: 2
   automation_mailers: 2
<% end %>

2. 更新systemd服务配置
   修改Sidekiq.service的启动命令，让Sidekiq加载ERB模板：

Environment="SIDEKIQ_COUNT=2"
Environment="SIDEKIQ_PRELOAD=''"
ExecStart=/bin/bash /home/user/.rbenv/bin/rbenv exec bundle exec sidekiqswarm -e production -C config/sidekiq.yml.erb

方案二：启动脚本指定队列 #

通过Sidekiq Swarm的--exec参数，让每个进程执行自定义脚本，脚本根据进程索引指定专属队列：

1. 创建启动脚本
   在项目目录下创建start_sidekiq_swarm.sh，赋予执行权限（chmod +x start_sidekiq_swarm.sh）：

#!/bin/bash
# 根据Sidekiq Swarm的进程索引指定队列
if [ "$SIDEKIQ_INDEX" = "0" ]; then
  exec bundle exec sidekiq -e production -C config/sidekiq.yml -q update_data:10
elif [ "$SIDEKIQ_INDEX" = "1" ]; then
  exec bundle exec sidekiq -e production -C config/sidekiq.yml -q import_data:10
else
  # 其他进程使用原有配置
  exec bundle exec sidekiq -e production -C config/sidekiq.yml
fi

2. 更新systemd服务配置
   修改Sidekiq.service，指定自定义启动脚本：

Environment="SIDEKIQ_COUNT=2"
Environment="SIDEKIQ_PRELOAD=''"
ExecStart=/bin/bash /home/user/.rbenv/bin/rbenv exec bundle exec sidekiqswarm -e production --exec /path/to/start_sidekiq_swarm.sh

注意：替换/path/to/start_sidekiq_swarm.sh为脚本的实际路径

关键说明 #

• Sidekiq Swarm会为每个启动的进程自动设置SIDEKIQ_INDEX环境变量，值从0开始递增（比如2个进程的话，索引为0和1）
• 两种方案都能实现进程1仅处理update_data、进程2仅处理import_data的需求，方案一更简洁，无需额外脚本维护

内容的提问来源于stack exchange，提问作者Hardika Desai