Google Cloud Storage get_blob调用引发陈旧套接字连接问题求助

我来帮你搞定这个GCS客户端套接字卡在CLOSE_WAIT状态的问题——之前处理过类似的连接泄漏情况，结合你的代码和连接状态信息，给你几个实用的解决方案：

先明确问题根源 #

CLOSE_WAIT状态的本质是：服务端（GCS的API节点）已经关闭了连接，但你的Python程序没有主动释放对应的套接字。这大概率是因为google-cloud-storage底层的HTTP连接池没有被正确管理，或者客户端实例的生命周期没处理好。

你的代码里每次操作都创建新的storage.Client实例，这是常见的诱因——每个Client都会维护自己的连接池，频繁创建销毁会导致大量空闲连接堆积，最终变成CLOSE_WAIT状态。

具体解决方法 #

1. 复用Storage Client实例

不要每次获取Blob都新建Client，把Client做成全局复用的实例，这样连接池会被高效利用，不会产生大量无用连接：

# 全局初始化一次，整个程序生命周期复用
storage_client = storage.Client(project)

# 后续所有GCS操作都用这个Client
storage_bucket = storage_client.bucket(bucket_name)
blob = storage_bucket.get_blob("some-blob-path")

2. 显式关闭Client释放连接

如果必须创建多个Client（比如多线程场景），记得在操作完成后显式关闭Client，强制释放连接池里的套接字：

client = storage.Client(project)
try:
    bucket = client.bucket(bucket_name)
    blob = bucket.get_blob("some-blob-path")
    # 在这里处理你的Blob逻辑
finally:
    # 关闭Client，释放所有底层连接
    client.close()

3. 自定义连接池参数限制连接数

可以通过配置底层HTTP客户端的连接池参数，限制最大连接数和存活时间，避免连接泄漏：

from google.cloud.storage import Client
from google.auth.transport.requests import AuthorizedSession
from requests.adapters import HTTPAdapter

# 配置连接池参数：控制最大连接数、存活时间
adapter = HTTPAdapter(
    pool_connections=10,  # 全局连接池的最大连接数
    pool_maxsize=10,       # 每个目标主机的最大连接数
    pool_block=False       # 连接满时不阻塞，直接抛出异常（根据业务调整）
)

# 创建带自定义适配器的授权会话
session = AuthorizedSession(credentials=storage.Client(project)._credentials)
session.mount("https://", adapter)

# 使用自定义会话创建GCS Client
storage_client = Client(project=project, session=session)

4. 升级Python和库版本

你现在用的Python3.6已经是停止维护的版本了，google-cloud-storage的新版本对旧Python的连接处理可能存在兼容性问题。建议升级到Python3.8及以上，同时更新GCS客户端库到最新稳定版：

pip install --upgrade google-cloud-storage

补充验证 #

修改后可以用netstat或ss命令监控连接状态，看看CLOSE_WAIT的连接是否不再持续堆积：

ss -tulnp | grep CLOSE_WAIT | grep python3.6

内容的提问来源于stack exchange，提问作者mrtksy