Celery Worker中无法将文件存储至S3的问题求助

问题复现 #

从数据库取数生成XLSX文件，调用report.file.save()时Celery Worker直接停止，但Django Shell中运行完全正常。

排查方向及解决办法 #

1. Celery进程的AWS权限未正确配置 #

Django Shell使用当前环境的AWS凭证（本地~/.aws/credentials或系统环境变量），但Celery Worker进程可能未加载到这些凭证，导致S3上传失败触发崩溃。

• 解决：启动Worker时显式传入AWS凭证环境变量：

  AWS_ACCESS_KEY_ID=你的密钥ID AWS_SECRET_ACCESS_KEY=你的密钥 celery -A 你的项目名 worker -l info
  

  或通过python-dotenv等工具统一管理环境变量，确保Worker加载到正确的配置。

2. BytesIO流指针位置错误 #

生成XLSX后，BytesIO的读写指针停留在流末尾，ContentFile读取时会获取空内容，引发S3上传异常导致Worker崩溃。

• 解决：在传入ContentFile前将指针移至流开头：

  # 生成excel_file后添加
  excel_file.seek(0)
  # 再执行save
  report.file.save(file_name, ContentFile(excel_file.read()))
  

  也可以在generate_xlsx_file函数内部处理完文件后调用seek(0)再返回流对象。

3. 未捕获S3上传环节的异常 #

当前代码仅捕获了文件生成的异常，但save操作上传S3时可能抛出连接超时、权限错误等异常，未被捕获的异常会直接终止Worker进程。

• 解决：将save操作包裹在try-except块中，记录详细日志并清理无效数据：

  try:
      excel_file.seek(0)
      report.file.save(file_name, ContentFile(excel_file.read()))
  except Exception as e:
      logger.exception("S3文件保存失败")
      report.delete()  # 删除未成功上传文件的空记录
      return
  

4. Celery加载的Django配置与Shell不一致 #

Worker可能加载了错误的settings模块（如开发环境vs生产环境），导致S3存储后端配置（AWS_STORAGE_BUCKET_NAME、AWS_S3_REGION_NAME等）不匹配。

• 解决：启动Worker时指定正确的settings：

  celery -A 你的项目名 worker -l info --settings=你的项目名.settings.生产环境配置文件名
  

内容的提问来源于stack exchange，提问作者deep adeshra