Celery开发环境代码修改重启Docker容器不生效求解决方案

问题描述 #

本地开发Celery时，修改代码后重启Docker容器，代码变更并未生效（非任务结果缓存问题，是实际函数执行逻辑未更新），必须清理所有相关资源才能生效。

现有配置文件 #

supervisord.conf #

[supervisord]
nodaemon=true


[program:celeryworker]
stdout_logfile=/dev/stdout
stdout_logfile_maxbytes=0
stderr_logfile=/dev/stderr
stderr_logfile_maxbytes=0
command=celery -A worker.scheduler.schedule.celery_app worker -l info 

[program:celerybeat]
stdout_logfile=/dev/stdout
stdout_logfile_maxbytes=0
stderr_logfile=/dev/stderr
stderr_logfile_maxbytes=0
command=celery -A worker.scheduler.schedule.celery_app beat -l info

worker.Dockerfile #

FROM python:3.10
WORKDIR /usr/src/app

# install supervisord
RUN apt-get update && apt-get install -y supervisor
RUN apt-get install -y python3-pymysql

# copy requirements and install (so that changes to files do not mean rebuild cannot be cached)
RUN mkdir worker 
COPY worker/requirements.txt /usr/src/app/worker
COPY worker/supervisord.conf /usr/src/app
RUN pip install -r /usr/src/app/worker/requirements.txt

# copy all files into the container
COPY ./worker /usr/src/app/worker
COPY ./db /usr/src/app/db

# needs to be set else Celery gives an error (because docker runs commands inside container as root)
ENV C_FORCE_ROOT=1

# run supervisord
CMD ["/usr/bin/supervisord"]

Docker Compose 配置片段 #

celery_worker:
  build:
    context: server
    dockerfile: worker.Dockerfile
  volumes:
    - ./worker:/tmp/worker
  environment:
    - CELERY_BROKER_URL=amqp://guest:guest@rabbitmq:5672//
    - CELERY_RESULT_BACKEND=redis://@redis:6000/0
  depends_on:
    - db
    - rabbitmq
    - redis

解决方案 #

1. 修正Volume挂载路径 #

当前配置中，本地worker目录被挂载到容器的/tmp/worker，但Celery实际加载代码的路径是/usr/src/app/worker，导致本地代码变更无法同步到运行目录。修改Docker Compose的volumes配置：

volumes:
  - ./worker:/usr/src/app/worker
  - ./db:/usr/src/app/db  # 同步db目录，确保数据层代码变更也能生效

2. 开启Celery Worker自动重载（开发环境专属） #

Celery提供--autoreload参数，会自动检测代码文件变更并重启worker进程，无需手动操作。修改supervisord.conf中的worker命令：

[program:celeryworker]
# 保留原有其他配置
command=celery -A worker.scheduler.schedule.celery_app worker -l info --autoreload

注意：该参数会带来额外性能开销，绝对禁止在生产环境使用。

3. 手动重启Worker进程（无需重启整个容器） #

如果自动重载未触发，或需要手动强制更新，可通过以下步骤操作：

1. 查看Celery worker容器ID：docker ps | grep celery_worker
2. 进入容器内部：docker exec -it <容器ID> bash
3. 通过supervisor重启worker：supervisorctl restart celeryworker

4. 避免Docker镜像缓存干扰（可选） #

若之前构建过镜像，确保代码修改后不会复用旧缓存镜像，可重新构建并启动：

docker-compose up --build celery_worker

内容的提问来源于stack exchange，提问作者Michael Paccione