AWS CLI上传S3大文件未自动使用multipart upload问题咨询
问题解答
1. 上传任务是否实际使用了multipart upload分片上传?
该上传任务实际未触发分片上传,具体原因如下:
- AWS CLI默认的分片上传触发阈值为8MB,理论上超出该大小的文件会自动走分片逻辑,但S3普通单PUT请求最大支持上传5GB大小的文件,若你本地CLI配置的分片阈值大于当前上传的1GB文件大小,就会优先走单PUT上传流程。
- 你可以执行命令
aws configure get default.s3.multipart_threshold查看当前本地的分片阈值配置,若返回值大于1GB即可验证该结论;也可以添加--debug参数执行cp命令查看请求日志,日志中无InitiateMultipartUpload相关请求即可确认未使用分片上传。
2. 未授予分片相关权限为何上传可以正常运行?
本次上传实际走的是普通单PutObject请求,该操作仅需要s3:PutObject权限即可完成,不需要分片上传所需的s3:InitiateMultipartUpload、s3:UploadPart、s3:CompleteMultipartUpload等权限,因此即使你未配置分片相关的存储桶权限,上传也可以正常执行。
内容的提问来源于stack exchange,提问作者chickenman
相关产品推荐
相关产品推荐

