使用Django和Celery时文件写入失败问题求助

Django项目中定义了如下Post模型：

class Post(models.Model):
    caption = models.CharField(max_length=256)
    text = models.CharField(max_length=256, null=True, blank=True)
    date_posted = models.DateTimeField(null=True, blank=True)
    source = models.ForeignKey(Source, on_delete=models.CASCADE)
    source_url = models.URLField()
    image = models.ImageField(upload_to='post_images', null=True)

数据采集器通过_load_post方法插入记录，手动运行时图片能正常保存到media/post_images，但通过Celery执行时，Post对象创建成功且日志无报错，却没有生成图片文件和对应文件夹。

依赖版本：

• Django==4.1.7
• Pillow==9.4.0
• redis==4.5.3

1. 检查Celery进程工作目录 #

Celery启动时的工作目录可能和手动运行时不一致，导致MEDIA_ROOT路径解析错误：

• 必须在项目根目录下启动Celery，命令示例：

  celery -A 你的项目名 worker --loglevel=info
  

• 在Celery任务中添加打印语句，对比手动运行时的MEDIA_ROOT路径是否一致：

  from django.conf import settings
  print(settings.MEDIA_ROOT)
  

2. 验证文件权限 #

Celery运行的用户（如服务器www-data用户、虚拟环境专属用户）可能没有MEDIA_ROOT目录的读写权限：

• 修改media目录权限，确保Celery进程用户具备读写能力：

  chmod -R 755 media/
  chown -R celery运行用户:用户组 media/
  

3. 确认Django配置加载正确性 #

Celery可能未正确加载Django配置，导致MEDIA_ROOT等参数未生效：

• 检查celery.py配置文件，确保正确初始化Django：

  import os
  from celery import Celery
  
  os.environ.setdefault('DJANGO_SETTINGS_MODULE', '你的项目名.settings')
  app = Celery('你的项目名')
  app.config_from_object('django.conf:settings', namespace='CELERY')
  app.autodiscover_tasks()
  

• 启动Celery时，确认环境变量DJANGO_SETTINGS_MODULE已正确设置。

4. 修正图片保存的文件名 #

当前代码用完整URL作为文件名，可能包含特殊字符或路径分隔符，导致Celery环境下保存失败：

• 提取URL中的纯文件名再保存，替换原保存逻辑：

  from urllib.parse import urlparse
  import os
  from django.core.files.base import ContentFile
  
  # 替换原保存代码
  image_url = post.image
  parsed_url = urlparse(image_url)
  filename = os.path.basename(parsed_url.path)
  post_obj.image.save(filename, ContentFile(image_content), save=True)
  

5. 查看Celery详细日志 #

当前自定义打印未捕获隐藏错误，需调整Celery日志级别查看细节：

• 启动Celery时设置日志级别为debug：

  celery -A 你的项目名 worker --loglevel=debug
  

• 检查日志中是否有文件操作相关的警告或错误，比如路径不存在、写入权限不足等。

6. 验证图片内容有效性 #

确认image_content有效，可在Celery任务中临时写入本地文件测试：

with open('/tmp/test_image.jpg', 'wb') as f:
    f.write(image_content)

如果该文件能生成，说明内容没问题，问题出在Django的文件保存流程。

内容的提问来源于stack exchange，提问作者Oleg Klimenko