Celery无法启动多Worker问题求助（Ubuntu环境）

核心原因 #

你碰到的这个“启动只跑一个Worker、停止反而触发其他节点启动”的怪问题，主要是两个原因导致的：

1. 资源冲突卡死：多个Worker节点共用了同一个PID文件、日志文件，系统启动时第一个节点占了这些资源，其他节点因为文件锁或者资源占用根本启动不了；等你停止第一个节点后，资源锁释放了，剩下的节点才趁机启动，所以要停好几次才能全关掉。
2. 节点专属配置缺失：Celery 3.1的celeryd守护脚本特别认死理——每个节点必须有自己专属的配置参数（比如队列、PID路径、日志路径），如果只设置全局参数，节点之间会抢配置，自然没法好好并行运行。

具体修复步骤 #

1. 给每个节点分配专属的PID和日志文件 #

先在/etc/default/celeryd里给每个节点单独指定PID和日志文件，彻底避免冲突：

# 先写好全局基础配置（替换成你自己的用户、虚拟环境路径和Django项目）
CELERYD_USER="your-ubuntu-user"
CELERYD_GROUP="your-ubuntu-group"
CELERY_BIN="/path/to/your/venv/bin/celery"
CELERY_APP="your_django_project.settings"

# 你的多节点列表不变
CELERYD_NODES="RRR SSS TTT STST OTS"

# 给每个节点单独指定PID文件
CELERYD_PID_FILE_RRR="/var/run/celery/RRR.pid"
CELERYD_PID_FILE_SSS="/var/run/celery/SSS.pid"
CELERYD_PID_FILE_TTT="/var/run/celery/TTT.pid"
CELERYD_PID_FILE_STST="/var/run/celery/STST.pid"
CELERYD_PID_FILE_OTS="/var/run/celery/OTS.pid"

# 每个节点的日志文件也分开
CELERYD_LOG_FILE_RRR="/var/log/celery/RRR.log"
CELERYD_LOG_FILE_SSS="/var/log/celery/SSS.log"
CELERYD_LOG_FILE_TTT="/var/log/celery/TTT.log"
CELERYD_LOG_FILE_STST="/var/log/celery/STST.log"
CELERYD_LOG_FILE_OTS="/var/log/celery/OTS.log"

# 让脚本自动创建需要的目录（省得手动建）
CELERYD_CREATE_DIRS=1

2. 为每个节点配置专属的Worker参数 #

根据每个节点要处理的队列、并发数，给它们单独设置运行参数：

# RRR节点：处理rrr_queue队列，并发4个进程
CELERYD_OPTS_RRR="--time-limit=300 --concurrency=4 -Q rrr_queue"
# SSS节点：处理sss_queue队列，并发2个进程
CELERYD_OPTS_SSS="--time-limit=300 --concurrency=2 -Q sss_queue"
# TTT节点：处理ttt_queue队列，并发3个进程
CELERYD_OPTS_TTT="--time-limit=300 --concurrency=3 -Q ttt_queue"
# STST节点：处理stst_queue队列，并发5个进程
CELERYD_OPTS_STST="--time-limit=300 --concurrency=5 -Q stst_queue"
# OTS节点：处理ots_queue队列，并发1个进程
CELERYD_OPTS_OTS="--time-limit=300 --concurrency=1 -Q ots_queue"

3. 检查并修复目录权限 #

确保Celery能读写PID和日志目录，不然还是会启动失败：

# 创建目录（如果还没的话）
sudo mkdir -p /var/run/celery /var/log/celery
# 把权限给到Celery运行的用户和组
sudo chown your-ubuntu-user:your-ubuntu-group /var/run/celery /var/log/celery
# 设置合适的权限
sudo chmod 755 /var/run/celery /var/log/celery

4. 重启服务验证效果 #

# 先停掉现有服务，清理残留的PID文件
sudo service celeryd stop
sudo rm -f /var/run/celery/*.pid
# 启动服务
sudo service celeryd start
# 检查所有节点是不是都跑起来了
ps aux | grep celery

额外提醒 #

Celery 3.1.x已经是停止维护的老版本了，后续如果有机会，建议慢慢升级到Celery 5.x版本——新版本的多Worker管理更简单，稳定性也更好，还能避免这类老版本的奇怪问题。另外，别忘了确认Django里django-celery已经加到INSTALLED_APPS里，并且跑过python manage.py migrate同步数据库哦。

内容的提问来源于stack exchange，提问作者Karthikeyan Selvaraj