IIS10部署Django应用实现10GB大文件上传的配置问题咨询

1 修正现有IIS参数配置 #

你当前设置的两个IIS参数数值本身不满足10GB上传需求，且存在原生上限：

• maxAllowedContentLength你设置为2147483648，仅对应2GB，该参数为32位无符号整数，最大可设为4294967295（即4GB），单位为字节。
• maxRequestEntityAllowed你设置的4294967295已经是该参数的最大值，对应4GB。

注意：IIS原生单请求上传最大限制为4GB，无法通过调整参数突破该限制，10GB文件无法通过单请求完成上传，必须改用分块上传方案。

2 调整FastCGI相关配置 #

IIS的FastCGI默认的超时、缓冲区限制会拦截长耗时的大文件上传请求，需修改：

• 打开IIS管理器，进入对应站点的「FastCGI设置」，找到绑定的Python解释器条目，右键编辑
• 将「活动超时」「请求超时」调整为足够大的数值，可根据上传速度预估设置为3600秒甚至更高，避免上传过程中请求被强制中断
• 将「响应缓冲区限制」调整为0（无限制）或大于4GB的数值

3 调整Django配置与代码 #

Django配置修改 #

在settings.py中调整以下参数：

• FILE_UPLOAD_MAX_MEMORY_SIZE：设置为10485760（10MB）即可，超过该大小的上传文件会自动写入临时磁盘，避免占用过多内存
• DATA_UPLOAD_MAX_MEMORY_SIZE：同样设置为10485760（10MB），限制请求体在内存中的缓存大小

代码问题修正 #

你当前的上传代码使用文本模式写入+UTF-8解码，若上传文件存在非UTF-8字符会直接报错中断，建议改为二进制模式处理：

tmpFile = NamedTemporaryFile('wb', delete=False)
try:
    with tmpFile:
        for chunk in inputFasta.chunks():
            tmpFile.write(chunk)
    fastaSequences = SeqIO.parse(tmpFile.name, 'fasta')
finally:
    os.unlink(tmpFile.name)

4 10GB文件上传实现方案 #

因为IIS单请求最多支持4GB上传，要实现10GB文件上传必须使用前端分块上传逻辑：

• 前端将10GB大文件切割为100MB~1GB大小的块（单块大小不超过4GB即可），每个块单独发起上传请求，请求中携带当前块序号、总块数、文件唯一标识参数
• 后端接收每个块后按序号暂存，所有块上传完成后拼接为完整文件，再执行后续的fasta解析逻辑
• 可额外增加断点续传逻辑，上传中断后无需重新上传整个文件，仅上传未完成的块即可

内容的提问来源于stack exchange，提问作者Bugsy