django-storages对接S3实现1GB级大文件多分片上传配置排查
核心认知误区澄清
- 你之前设置的
AWS_S3_MAX_MEMORY_SIZE从作用逻辑上就和S3多分片上传完全无关:这个参数仅控制Django在接收HTTP上传的文件时,多大尺寸的文件会从内存缓冲区转存为服务器本地的临时磁盘文件,不会和S3侧的上传逻辑产生任何交互,自然不会触发分片上传行为。 - 你在django-storages官方S3后端文档里找不到多分片相关的配置说明也是正常的:django-storages的S3后端本身没有单独实现分片上传逻辑,所有分片能力都是直接透传到底层依赖的
boto3SDK自带的传输管理器实现的,自然不会在自身文档里单独罗列这部分配置。
实际的多分片上传触发规则
- boto3自带的S3传输管理器,默认就会自动触发分片上传,不需要手动编写分片流程,只要满足两个条件即可正常触发:
- 待上传的文件总大小超过默认的
8MB分片触发阈值 - 传入的文件对象支持
seek()、tell()方法,能让SDK准确计算文件总大小
- 待上传的文件总大小超过默认的
- 也就是说,你测试1GB文件的时候,只要文件对象符合要求,SDK本来就应该自动拆成分片上传,之前没观察到效果大概率是踩到了特定版本的透传bug、或者传入的文件对象不符合SDK的分片识别要求。
可自定义的分片配置方式
- 不需要在django-storages的配置项里找分片开关,直接通过透传boto3的
TransferConfig参数就能自定义分片行为,示例配置如下:from boto3.s3.transfer import TransferConfig # 在Django settings中配置 AWS_S3_TRANSFER_CONFIG = TransferConfig( multipart_threshold=5 * 1024 * 1024, # 超过5MB即触发分片上传 multipart_chunksize=8 * 1024 * 1024, # 每个分片大小设置为8MB max_concurrency=10, # 分片上传的并发连接数 use_threads=True # 开启多线程并发上传 ) - 如果使用的django-storages版本较低,不直接识别上述配置,可以通过自定义S3Boto3Storage子类,在初始化客户端时把TransferConfig传入上传流程,覆盖SDK默认值即可。
常见的分片失效排查点
- 检查传入
storage.save()方法的文件对象类型:如果手动把整个文件读成内存字节流,封装成不支持seek()的自定义类文件对象传入,boto3会因为无法准确计算文件总大小,自动降级为单块上传,不会触发分片逻辑。 - 核对django-storages版本:1.13之前的版本存在boto3传输配置透传的bug,会强制走单块上传逻辑,升级到稳定版本即可解决。
- 排除带宽上限干扰:如果单连接上传已经跑满了本地出口带宽,开启多并发分片也不会带来明显的速度提升,分片的速度增益仅出现在单连接被TCP窗口、运营商限速等因素卡到远低于带宽上限的场景下。
内容的提问来源于stack exchange,提问作者rm1
相关产品推荐
相关产品推荐

