从内存上传缩略图至Amazon S3桶时遇连接重置错误求助

刚碰到过类似的坑，你遇到的这个ProtocolError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))，大多是网络波动、上传方式不合适或者S3区域配置不匹配导致的，下面是几个亲测有效的解决思路：

1. 先核对区域配置是否匹配 #

首先确认你初始化客户端时填的region_name，和目标S3桶的实际区域必须完全一致。如果区域不匹配，请求会被自动重定向，很容易触发连接中断。另外也检查下你的网络环境，有没有防火墙、代理拦截了S3的请求。

2. 改用分块上传处理内存文件 #

如果你的缩略图体积不算小，用基础的put_object上传内存数据时，很容易因为连接超时或不稳定挂掉。试试boto3的分块上传，它会自动把大文件拆分成小块上传，容错性强很多：

import io
from boto3.s3.transfer import TransferConfig

# 先配置分块规则：超过5MB自动分块，最多5个并发
transfer_config = TransferConfig(multipart_threshold=5*1024*1024, max_concurrency=5)

# 把内存中的缩略图bytes转为可读取的文件对象
thumb_file = io.BytesIO(your_thumb_data)
thumb_file.seek(0)  # 一定要重置文件指针到开头，不然会上传空内容

# 用upload_fileobj上传，自动处理分块
s3_client.upload_fileobj(
    Fileobj=thumb_file,
    Bucket="your-target-bucket",
    Key="your-thumb-key.jpg",
    Config=transfer_config
)

3. 给客户端加重试策略 #

网络波动是常有的事，给boto3客户端配置重试机制，能自动恢复临时的连接中断：

from botocore.config import Config

# 配置重试：最多重试10次，覆盖连接错误这类临时问题
retry_config = Config(
    retries={
        'max_attempts': 10,
        'mode': 'standard'
    }
)

# 用这个配置初始化客户端
s3_client = boto3.client(
    's3',
    aws_access_key_id=aws_access_key_id,
    aws_secret_access_key=aws_secret_access_key,
    region_name='your-correct-region',
    config=retry_config
)

4. 验证内存中缩略图的完整性 #

有时候内存里的缩略图数据本身损坏了，也会导致上传过程中连接异常。可以临时把内存数据写入本地文件，看看能不能正常打开——如果本地都打不开，那得先排查缩略图生成的逻辑。

5. 调整超时参数 #

如果是请求超时导致的连接重置，可以适当调大客户端的超时时间：

from botocore.config import Config

timeout_config = Config(
    connect_timeout=30,  # 连接超时设为30秒
    read_timeout=60      # 读取超时设为60秒
)

s3_client = boto3.client(
    's3',
    aws_access_key_id=aws_access_key_id,
    aws_secret_access_key=aws_secret_access_key,
    region_name='your-correct-region',
    config=timeout_config
)

建议先从核对区域配置和加重试策略开始试，这两个解决了我之前遇到的类似问题。如果缩略图比较大，分块上传的效果会更明显。

内容的提问来源于stack exchange，提问作者ckdf14