DRF集成Celery云部署报FileNotFoundError本地正常问题求助

核心排查方向 #

• 容器文件系统隔离问题：大概率是进入Web服务容器查看的文件，但Celery Worker运行在独立容器中，部署时没有给两个容器挂载共享存储，Web服务写入的文件在Celery容器中根本不存在。
• 文件落盘时序问题：文件写入后系统IO缓冲未完成刷盘，就立刻触发了异步任务，Celery执行时文件还没真正写到磁盘上。
• 权限不匹配问题：Web服务写入文件的用户和Celery Worker的运行用户不一致，Celery没有目标文件/目录的读权限，这类权限不足的问题有时会被框架包装成文件不存在的报错。
• 路径配置不一致问题：Web服务和Celery服务加载的配置不统一，MEDIA_ROOT等路径参数取值不同，或者任务代码里路径拼接错误。
• 代码变量笔误：贴出的Celery任务入参是file_path，但构造Path对象时使用的是path_tmp变量，要确认该变量在Worker进程中的取值是否和预期一致。

对应解决方案 #

• 统一容器存储挂载：如果用docker-compose部署，必须给Web、Celery Worker、Celery Beat（如果有）都挂载同一个共享卷到媒体文件目录，参考配置：

services:
  web:
    build: .
    volumes:
      - media_data:/mediafiles
  celery_worker:
    build: .
    volumes:
      - media_data:/mediafiles
# 定义共享命名卷
volumes:
  media_data:

容器默认文件系统是隔离的，只给单个服务挂卷会导致跨容器看不到文件。

• 修复文件写入触发逻辑：写完文件后强制刷新IO缓冲区，确认文件落盘后再触发异步任务，修改代码如下：

with open(file_path, "wb+") as fp:
    for chunk in file:
        fp.write(chunk)
    # 强制刷新缓冲区，确保文件写入磁盘
    fp.flush()
    os.fsync(fp.fileno())

# 二次确认文件存在再投递任务
if os.path.isfile(file_path):
    result = upload.delay(name, file_path)

如果是GB级大文件，可以在调用任务时加countdown=3这类参数，让任务延迟3秒执行，给存储留足处理时间。

• 统一运行权限：在Dockerfile中创建固定UID/GID的运行用户，Web和Celery服务都用该用户启动，媒体文件目录权限设置为755，文件权限设置为644，避免权限拦截。
• 统一配置管理：把文件路径相关的配置全部放到全局Django Settings中，不要在业务代码里硬编码路径，Web和Celery启动时加载同一份配置文件，避免路径拼写不一致。
• 修复代码变量错误：如果path_tmp是笔误，直接替换为入参file_path即可；如果是全局变量，要确认Worker进程加载该变量时的取值和Web进程一致。

内容的提问来源于stack exchange，提问作者Joseph Adam