使用非multipart方式上传文件至Amazon S3时文件损坏如何解决

URL编码异常排查 #

• 校验Object Key编码规则：S3要求Object Key遵循RFC 3986编码规范，禁止使用application/x-www-form-urlencoded格式编码，后者会将空格转换为+，而S3要求空格必须编码为%20，编码规则不匹配是最常见的签名校验失败原因。
• 检查特殊字符处理逻辑：Object Key中包含中文、emoji、?、#、&等特殊字符时需要逐个编码，不要对路径分隔符/做编码，否则会导致S3无法识别对象层级，返回404或签名不匹配错误。
• 校验签名参数一致性：生成预签名URL时指定的HTTP方法、Content-Type、Content-MD5等请求头参数，必须和实际发起PUT请求时携带的参数完全一致，任意参数差异都会触发签名校验失败。

上传后文件损坏排查 #

• 检查文件读取模式：读取本地文件时必须使用二进制模式（例如Python的rb模式、Java的FileInputStream），禁止将二进制流转为字符串后再传输，编码转换过程会篡改二进制字节内容，导致文件损坏。
• 校验Content-Length准确性：PUT请求携带的Content-Length必须和本地文件的实际字节数完全一致，不要依赖HTTP客户端自动计算，部分客户端在处理二进制流时会自动补充或截断字节，导致大小不匹配。
• 开启MD5校验：上传前计算本地文件的Base64格式MD5值，放入请求头Content-MD5中，S3会自动校验接收文件的MD5是否匹配，不匹配时直接返回错误，避免损坏文件存入S3。
• 排查中间层干扰：如果请求经过代理、CDN、WAF等中间组件，确认中间层不会修改PUT请求的Body内容，部分代理默认会对请求体做压缩、格式化操作，直接导致二进制文件损坏，可通过直连S3端点测试排除该类问题。

通用修复建议 #

• 优先使用AWS官方SDK生成预签名URL和发起上传请求，官方SDK已经封装了所有编码、校验、传输逻辑，可规避绝大多数自定义实现导致的问题。
• 测试阶段可通过curl命令做对照验证：执行curl -v -X PUT -T <本地文件路径> "<预签名URL>"，如果curl上传正常，说明你自己实现的请求逻辑存在问题，对照curl的请求头、传输逻辑调整即可。

内容的提问来源于stack exchange，提问作者sudhanshu