AWS S3文件上传速度过慢求助：预计耗时超1天

• 启用分块上传并调整并发参数
  大文件上传时，S3的分块上传能并行传输多个文件块，大幅提升速度。如果用AWS CLI，可通过参数调整：

  aws s3 cp ./local-dir s3://your-bucket/ --recursive --multipart-chunk-size 100MB --max-concurrent-requests 20
  

  也可以修改~/.aws/config配置文件，设置全局默认参数：

  [default]
  s3 =
      max_concurrent_requests = 30
      multipart_threshold = 64MB
      multipart_chunksize = 64MB
  

  注意：max_concurrent_requests不要过高，避免触发S3限流。

• 排查本地网络瓶颈

  • 测试本地到S3传输加速端点的实际带宽，用命令：

    curl -L https://your-bucket.s3-accelerate.amazonaws.com/test-file --output /dev/null -w "%{speed_download}\n"
    

  • 优先使用有线网络，避免无线信号干扰；如果是跨区域传输，确认本地国际出口带宽充足。

• 优化存储桶区域选择
  尽量选择离你物理位置最近的AWS区域创建存储桶，比如国内用户可选ap-southeast-1（新加坡）或ap-east-1（香港），物理距离缩短能降低传输延迟，提升实际传输速率。

• 检查S3限流与配额
  查看CloudWatch中的S3指标，重点关注ThrottlingErrors和5xxErrors：

  • 如果出现限流，可适当降低并发请求数；
  • 若长期大流量上传，可联系AWS支持提升账户的S3上传配额。

• 使用高效的第三方上传工具
  比如rclone这类工具针对并行上传做了优化，支持断点续传，命令示例：

  rclone sync ./local-folder s3://your-bucket --transfers 20 --checkers 30
  

  调整--transfers控制并行上传的文件数，--checkers控制文件检查的并发数。

• 压缩可优化的文件
  对文本、代码、未压缩的文档等可压缩文件，先打包成zip或tar.gz格式再上传，减少总传输体积。注意不要压缩已压缩的媒体文件（如JPG、MP4），否则会增加文件大小。

内容的提问来源于stack exchange，提问作者Peter McClelland