异步上下文分块写入Django上传文件遇文件已关闭错误的解决咨询

原因分析 #

出现ValueError: read of closed file的核心原因有两点：

1. 请求生命周期的资源清理：Django的TemporaryUploadedFile由请求上下文管理，当异步视图执行到await切换任务时，事件循环可能提前触发请求资源清理，导致文件句柄被关闭；若sync_to_async调度的同步任务在文件关闭后才执行，就会触发读取错误。
2. 线程上下文的资源隔离：sync_to_async会将同步函数调度到线程池执行，原异步上下文的文件对象跨线程访问时，可能因Django线程局部存储机制，导致文件资源无法正常访问甚至被提前释放。

另外，TemporaryUploadedFile默认会在请求结束后自动删除临时文件，若同步任务执行时机晚于请求结束，也会出现文件不存在的类似错误。

解决方法 #

方法1：将文件读取与写入逻辑统一放在同步函数中 #

把获取文件和写入的完整逻辑封装到同步函数里，通过sync_to_async直接调用，确保文件对象在请求生命周期内被处理，避免跨线程资源问题：

# 同步处理函数
def process_uploaded_file(uploaded_file, output_path="saved_file.bin"):
    with open(output_path, "wb") as dest_file:
        for chunk in uploaded_file.chunks():
            dest_file.write(chunk)

# 异步视图
async def upload_view(request):
    uploaded_file = request.FILES.get("file")
    if uploaded_file:
        # 直接调用同步处理函数，确保文件在请求上下文内被处理
        await sync_to_async(process_uploaded_file)(uploaded_file)
    # 后续响应逻辑
    return HttpResponse("文件上传完成")

方法2：在异步上下文提前读取文件内容 #

如果必须拆分读取和写入逻辑，先在异步上下文内将文件内容读取到内存，再传递给同步写入函数，避免同步线程访问已关闭的原文件对象：

# 同步写入函数（接收内存中的文件块）
def write_file_chunks(chunks, output_path="saved_file.bin"):
    with open(output_path, "wb") as dest_file:
        for chunk in chunks:
            dest_file.write(chunk)

# 异步视图
async def upload_view(request):
    uploaded_file = request.FILES.get("file")
    if uploaded_file:
        # 在异步上下文内通过sync_to_async读取文件块（避免阻塞事件循环）
        def read_file_chunks(file_obj):
            return list(file_obj.chunks())
        
        file_chunks = await sync_to_async(read_file_chunks)(uploaded_file)
        # 调用同步写入函数
        await sync_to_async(write_file_chunks)(file_chunks)
    return HttpResponse("文件上传完成")

方法3：自定义临时文件持久化 #

如果文件过大不适合内存存储，可以先将原临时文件复制到自己管理的临时路径，再让同步函数读取该路径的文件：

import tempfile
import os

def write_from_temp_path(temp_path, output_path="saved_file.bin"):
    with open(temp_path, "rb") as src_file, open(output_path, "wb") as dest_file:
        for chunk in src_file.chunks():
            dest_file.write(chunk)

async def upload_view(request):
    uploaded_file = request.FILES.get("file")
    if uploaded_file:
        # 创建自定义临时文件，复制原文件内容
        with tempfile.NamedTemporaryFile(delete=False) as tmp_file:
            # 同步读取原文件并写入自定义临时文件（用sync_to_async避免阻塞）
            await sync_to_async(lambda: tmp_file.write(b"".join(uploaded_file.chunks())))()
            tmp_path = tmp_file.name
        
        # 调用同步函数写入目标文件
        await sync_to_async(write_from_temp_path)(tmp_path)
        # 清理自定义临时文件
        os.unlink(tmp_path)
    return HttpResponse("文件上传完成")

内容的提问来源于stack exchange，提问作者bolino