如何在Django中用Celery处理request.FILES文件并上传至S3Boto3Storage

直接上解决方案，核心思路是把不可序列化的文件对象拆解为可序列化的核心参数（内容、文件名、类型），在Celery任务中重构类文件对象，全程无需本地存储文件：

修改视图代码（views.py） #

从请求中提取文件的关键信息，转成可序列化格式后传给Celery任务：

import base64

# ... 视图函数内的逻辑
image_file = request.FILES.get("image")
if image_file:
    # 将文件内容编码为base64字符串（可JSON序列化）
    image_content = base64.b64encode(image_file.read()).decode('utf-8')
    # 传递文件名、内容类型等元信息
    tasks.upload_image_task.delay(
        user_pk,
        post_body,
        image_content,
        image_file.name,
        image_file.content_type
    )

修改Celery任务代码（tasks.py） #

在任务中解码base64内容，重构类文件对象，再创建Post模型：

import base64
from io import BytesIO
from django.core.files.uploadedfile import InMemoryUploadedFile

@shared_task
def upload_image_task(user_pk, body, image_content_b64, image_name, image_content_type):
    user = User.objects.get(pk=user_pk)
    
    # 解码base64内容为字节流
    image_bytes = base64.b64decode(image_content_b64)
    # 用BytesIO包装成类文件对象
    image_io = BytesIO(image_bytes)
    
    # 构建Django可识别的InMemoryUploadedFile对象
    uploaded_file = InMemoryUploadedFile(
        image_io,
        field_name=None,
        name=image_name,
        content_type=image_content_type,
        size=len(image_bytes),
        charset=None
    )
    
    # 创建Post对象，S3Boto3Storage会直接将文件上传到S3
    Post.objects.create(
        user=user,
        body=body,
        image=uploaded_file,
        post_type="IMG"
    )

关键说明 #

1. 序列化问题解决：Celery默认用JSON序列化任务参数，InMemoryUploadedFile无法直接序列化，通过base64转字符串的方式，把文件内容转为可传递的文本格式。
2. 无本地存储：所有文件操作都在内存中完成，Django的S3存储后端会直接读取InMemoryUploadedFile的内容上传到S3，不会写入本地磁盘。
3. 大文件注意：base64编码会使数据体积增加约33%，如果处理超大图片，可考虑使用Celery的二进制序列化方案（如msgpack），但base64是最通用的兼容方案。

内容的提问来源于stack exchange，提问作者ParsaAi