调用get_object后执行delete_object触发ReadTimeoutError问题求助

问题场景 #

你在处理S3对象时，先调用get_object获取ContentType，当类型不符合text/plain时调用delete_object，却触发botocore.exceptions.ReadTimeoutError；但单独执行delete_object可以正常删除文件。相关代码如下：

object_get_response = self.client.get_object(
    Bucket=self.bucket_name,
    Key=HARDCODED_PATH
)
if object_get_response['ContentType'] != 'text/plain':
    response = self.client.delete_object(
        Bucket=self.bucket_name,
        Key=HARDCODED_PATH,
    )

原因分析与解决方法 #

1. 未释放get_object的响应连接 #

调用get_object后，如果未读取并关闭返回的Body流，boto3会保持HTTP连接处于未完成状态，后续delete_object复用该连接时就会触发超时。

解决方式：

• 方案一：显式读取并关闭响应体

object_get_response = self.client.get_object(
    Bucket=self.bucket_name,
    Key=HARDCODED_PATH
)
# 读取响应体并关闭连接
object_get_response['Body'].read()
object_get_response['Body'].close()

if object_get_response['ContentType'] != 'text/plain':
    response = self.client.delete_object(
        Bucket=self.bucket_name,
        Key=HARDCODED_PATH,
    )

• 方案二：用head_object替代get_object获取元数据
  如果只需要ContentType这类元数据，无需下载整个文件，head_object仅请求对象元数据，更高效且不会产生连接未释放问题：

object_head_response = self.client.head_object(
    Bucket=self.bucket_name,
    Key=HARDCODED_PATH
)
if object_head_response['ContentType'] != 'text/plain':
    response = self.client.delete_object(
        Bucket=self.bucket_name,
        Key=HARDCODED_PATH,
    )

2. 调整boto3客户端超时配置 #

通过修改客户端的超时参数，延长连接等待时间，避免超时触发：

from botocore.config import Config

config = Config(
    read_timeout=30,  # 延长读取超时时间
    connect_timeout=10,
    retries={'max_attempts': 3}
)
self.client = boto3.client('s3', config=config)

3. 禁用连接复用 #

强制每次请求使用新连接，避免复用未释放的异常连接：

from botocore.config import Config

config = Config(
    tcp_keepalive=False,
    pool_connections=1,
    pool_maxsize=1
)
self.client = boto3.client('s3', config=config)

最优建议 #

优先选择head_object方案，既避免了下载不必要的文件内容，从根源解决连接超时问题，同时还能提升代码执行效率。

内容的提问来源于stack exchange，提问作者Grzegorz Z.