使用Supervisor托管Celery时出现“No such file or directory”错误排查

这种情况我碰到过好几次，大概率是Supervisor的运行上下文和你手动启动时不一致导致的，具体可以从这几个方向排查：

1. 检查Supervisor配置的工作目录 #

你手动启动Celery时，应该是在Django项目的根目录下执行的命令吧？但Supervisor默认会用自身的工作目录（比如/root或/usr/sbin）来启动进程，这会导致Celery找不到项目内的文件或相对路径引用的资源。

解决方法：在你的Celery Supervisor配置文件中添加directory参数，指向Django项目根目录，示例配置如下：

[program:celery]
command=/path/to/your/venv/bin/celery -A proj worker --app=proj.celery:app --loglevel=INFO
directory=/path/to/your/django/project/root  # 必须加上这行，指定项目根目录
user=your_system_user
autostart=true
autorestart=true
stderr_logfile=/var/log/celery_err.log
stdout_logfile=/var/log/celery_out.log

2. 确认虚拟环境是否正确加载 #

手动启动时你可能激活了虚拟环境，但Supervisor不会自动激活虚拟环境。如果你的command里用的是全局celery命令，或者虽然指定了虚拟环境路径但环境变量不全，就会导致任务执行时找不到依赖模块或文件。

解决方法：

• 确保command中的celery路径是虚拟环境内的可执行文件，比如/home/your_user/venv/bin/celery，而非直接写celery
• 可在配置中添加environment参数，明确指定PYTHONPATH和虚拟环境路径：

environment=PYTHONPATH="/path/to/your/django/project/root",VIRTUAL_ENV="/path/to/your/venv"

3. 检查任务代码中的相对路径 #

如果你的Celery任务里用了相对路径读取文件（比如open("data/file.txt")），手动启动时因为处于项目根目录能正常找到，但Supervisor启动时工作目录不对，就会触发“No such file or directory”错误。

解决方法：把任务中的相对路径改为绝对路径，或者用Django的BASE_DIR拼接路径，示例代码：

from django.conf import settings

@shared_task
def your_task():
    # 用BASE_DIR拼接绝对路径
    file_path = settings.BASE_DIR / "data" / "file.txt"
    with open(file_path, "r") as f:
        # 处理文件逻辑
        pass

4. 验证进程运行上下文（排查利器） #

如果以上方法没解决问题，可以在Celery任务中打印当前工作目录和环境变量，直观定位问题：

import os
from celery import shared_task

@shared_task
def debug_context():
    print(f"当前工作目录: {os.getcwd()}")
    print(f"PYTHONPATH环境变量: {os.environ.get('PYTHONPATH')}")
    # 打印你任务中要访问的文件的绝对路径
    target_path = "你任务里的相对路径"
    print(f"尝试访问的文件绝对路径: {os.path.abspath(target_path)}")

执行这个任务后，查看celery_out.log的输出，就能清楚看到路径或环境变量的问题所在。

内容的提问来源于stack exchange，提问作者JayGatsby