多应用共享Celery systemd守护进程配置失败排查与优化请求

先拆解下你当前配置里导致启动失败和OOM的核心问题：

1. 进程数量过载：你给每个应用都启动了3个节点（w1/w2/w3），每个节点配8个并发进程，算下来两个应用一共会启动 2*3*8=48个worker进程，再加上Celery Beat，服务器内存直接被占满，触发了内存不足错误。
2. PID文件冲突：两个应用都用了 ${CELERYD_PID_FILE} 也就是 /var/run/celery/%n.pid，%n 会被替换成w1/w2/w3，这意味着AppA和AppB的w1节点会写入同一个PID文件，不仅会导致进程管理混乱，还可能让systemd无法正确追踪进程状态。
3. 启动方式不合理：你把两个应用的multi start放在同一个ExecStart里，systemd会瞬间启动所有进程，短时间内内存占用飙升，直接触发OOM。

正确的配置方案：拆分独立服务 #

最稳妥的方式是给每个应用创建独立的systemd服务单元，各自管理自己的Celery worker和beat，这样既能避免资源冲突，也方便单独启停和监控。

步骤1：为每个应用创建单独的配置文件

先创建AppA的配置文件 /etc/conf.d/celery_appA：

# AppA Celery配置
CELERYD_NODES="w1 w2"  # 减少节点数量，根据服务器内存调整
CELERY_BIN="/var/www/appA/public_html/venv/bin/celery"
CELERY_APP="appA.celery"
CELERYD_MULTI="multi"
CELERYD_OPTS="--time-limit=300 --concurrency=4"  # 降低并发数，避免内存过载
CELERYD_PID_FILE="/var/run/celery/appA_%n.pid"  # 加上应用标识，避免PID文件冲突
CELERYD_LOG_FILE="/var/log/celery/appA_%n%I.log"
CELERYD_LOG_LEVEL="INFO"
# Celery Beat（如果AppA需要定时任务的话）
CELERYBEAT_PID_FILE="/var/run/celery/appA_beat.pid"
CELERYBEAT_LOG_FILE="/var/log/celery/appA_beat.log"

再创建AppB的配置文件 /etc/conf.d/celery_appB：

# AppB Celery配置
CELERYD_NODES="w1 w2"
CELERY_BIN="/var/www/appB/public_html/venv/bin/celery"
CELERY_APP="appB.celery"
CELERYD_MULTI="multi"
CELERYD_OPTS="--time-limit=300 --concurrency=4"
CELERYD_PID_FILE="/var/run/celery/appB_%n.pid"
CELERYD_LOG_FILE="/var/log/celery/appB_%n%I.log"
CELERYD_LOG_LEVEL="INFO"
# Celery Beat（如果AppB需要定时任务的话）
CELERYBEAT_PID_FILE="/var/run/celery/appB_beat.pid"
CELERYBEAT_LOG_FILE="/var/log/celery/appB_beat.log"

提示：并发数和节点数要根据你的服务器内存灵活调整，比如1核2G的服务器，每个应用设置1个节点+2-4个并发就足够了，避免一次性启动太多进程。

步骤2：为每个应用创建独立的systemd服务单元

创建AppA的服务文件 /etc/systemd/system/celery-appA.service：

[Unit]
Description=Celery Service for AppA
After=network.target

[Service]
Type=forking
User=myuser
Group=www-data
EnvironmentFile=/etc/conf.d/celery_appA
ExecStart=/bin/bash -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
 -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
 --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} \
 --workdir=/var/www/appA/public_html/ ${CELERYD_OPTS}'
ExecStop=/bin/bash -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
 --pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/bash -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
 -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
 --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} \
 --workdir=/var/www/appA/public_html/ ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target

创建AppB的服务文件 /etc/systemd/system/celery-appB.service：

[Unit]
Description=Celery Service for AppB
After=network.target

[Service]
Type=forking
User=myuser
Group=www-data
EnvironmentFile=/etc/conf.d/celery_appB
ExecStart=/bin/bash -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
 -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
 --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} \
 --workdir=/var/www/appB/public_html/ ${CELERYD_OPTS}'
ExecStop=/bin/bash -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
 --pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/bash -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
 -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
 --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} \
 --workdir=/var/www/appB/public_html/ ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target

步骤3：创建日志和PID目录并设置权限

确保Celery的PID和日志目录存在，并且权限正确：

sudo mkdir -p /var/run/celery /var/log/celery
sudo chown myuser:www-data /var/run/celery /var/log/celery
sudo chmod 755 /var/run/celery /var/log/celery

步骤4：启动并启用服务

重新加载systemd配置，然后启动两个应用的Celery服务：

sudo systemctl daemon-reload
# 启动并设置开机自启AppA的Celery服务
sudo systemctl start celery-appA.service
sudo systemctl enable celery-appA.service
# 启动并设置开机自启AppB的Celery服务
sudo systemctl start celery-appB.service
sudo systemctl enable celery-appB.service

额外优化建议 #

• 如果服务器内存紧张，可以进一步缩减节点数，比如设置CELERYD_NODES="w1"，然后根据内存调整并发数。
• 可以给每个服务添加内存限制，在[Service]段加入MemoryLimit=512M（根据实际情况调整），防止单个应用占用过多内存：

  [Service]
  # 其他配置...
  MemoryLimit=512M
  

内容的提问来源于stack exchange，提问作者Claudia