如何在使用Amazon S3的Django项目中增大文件上传限制

要增大用户上传视频的大小限制，需要从表单验证、Django全局配置、Amazon S3配置三个层面入手，具体步骤如下：

1. 在forms.py中为FileField添加大小验证 #

直接通过MaxFileSizeValidator指定允许的最大文件大小，同时可搭配FileExtensionValidator限制视频格式：

from django import forms
from django.core.validators import FileExtensionValidator, MaxFileSizeValidator

class VideoUploadForm(forms.Form):
    video_file = forms.FileField(
        validators=[
            # 限制仅允许常见视频格式
            FileExtensionValidator(allowed_extensions=['mp4', 'mov', 'avi', 'mkv']),
            # 设置最大上传大小为50MB（单位：字节），按需调整数值
            MaxFileSizeValidator(50 * 1024 * 1024)
        ],
        label="上传视频"
    )

这里的MaxFileSizeValidator参数是字节数，计算方式为：目标大小(MB) * 1024 * 1024，比如100MB就是100 * 1024 * 1024。

2. 调整Django全局上传配置 #

表单验证只是前端和后端的一层校验，Django本身有全局的上传大小限制，需要在settings.py中修改：

# 单个文件的最大内存存储大小（字节），超过该值会自动转存到临时文件
DATA_UPLOAD_MAX_MEMORY_SIZE = 50 * 1024 * 1024

# 可选：指定临时文件存储目录，确保服务器有足够空间和读写权限
FILE_UPLOAD_TEMP_DIR = '/tmp/django_uploads'

# 可选：限制单次请求中上传字段的总数，默认值足够一般场景使用
# DATA_UPLOAD_MAX_NUMBER_FIELDS = 1000

如果你的视频文件超过100MB，建议将DATA_UPLOAD_MAX_MEMORY_SIZE设置得大一些，或者保持默认（默认是2.5MB），让Django自动用磁盘存储临时文件，避免内存溢出。

3. 配置Amazon S3的上传限制 #

因为使用S3存储，还需要确保S3端的配置支持大文件上传：

• Bucket CORS配置：确保允许PUT请求，并且设置足够长的过期时间，示例CORS规则：

  <?xml version="1.0" encoding="UTF-8"?>
  <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
  <CORSRule>
      <AllowedOrigin>*</AllowedOrigin>
      <AllowedMethod>GET</AllowedMethod>
      <AllowedMethod>PUT</AllowedMethod>
      <AllowedMethod>POST</AllowedMethod>
      <AllowedHeader>*</AllowedHeader>
      <MaxAgeSeconds>3600</MaxAgeSeconds>
  </CORSRule>
  </CORSConfiguration>
  

• django-storages配置：如果你用django-storages库对接S3，在settings.py中补充以下参数：

  # 签名URL的过期时间，大文件上传需要足够时间完成，这里设为1小时
  AWS_QUERYSTRING_EXPIRE = 3600
  # 避免覆盖同名文件
  AWS_S3_FILE_OVERWRITE = False
  # 对应Django的内存存储大小限制
  AWS_S3_MAX_MEMORY_SIZE = 50 * 1024 * 1024
  

• 分块上传（可选）：如果上传的视频超过100MB，建议使用分块上传来避免超时或连接中断问题。可以借助第三方库自动处理S3的分块上传逻辑，简化开发。

4. 前端辅助优化（可选） #

为了提升用户体验，在前端表单中添加文件大小限制提示和校验：

<input type="file" name="video_file" accept="video/*" max="52428800">
<p class="help-text">支持上传最大50MB的视频文件，格式为MP4/MOV/AVI/MKV</p>

这样用户在选择文件时就能提前看到限制，减少无效提交。

内容的提问来源于stack exchange，提问作者Marcus