Botocore 1.28.0+多线程应用性能下降，求优化方案

针对你遇到的Botocore 1.28.0版本导致测试套件性能下降的问题，可尝试以下几种方案恢复性能：

1. 显式指定端点，跳过全端点列表生成 #

Botocore 1.28.0新增的全端点列表生成是默认行为，但在使用motoserver这类测试服务时，直接指定固定端点就能避免不必要的端点枚举。创建Boto3 resource或client时，显式传入endpoint_url参数：

import boto3

# 创建S3 resource时指定motoserver端点
s3 = boto3.resource('s3', endpoint_url='http://localhost:5000')

这样Botocore会跳过所有可能的端点列表生成逻辑，直接使用指定的端点，减少load_service_model的耗时。

2. 进程池内复用客户端/资源实例 #

虽然Boto3官方建议线程环境下每个线程创建新resource，但在进程池场景中，可在每个进程初始化时创建一次client/resource，而非每次任务都创建。利用进程池的初始化钩子（比如multiprocessing.Pool的initializer参数），在进程启动时初始化Boto3客户端，后续任务复用该实例：

import multiprocessing
import boto3

def init_worker():
    global s3_client
    s3_client = boto3.client('s3', endpoint_url='http://localhost:5000')

def upload_task(bucket, key, data):
    s3_client.put_object(Bucket=bucket, Key=key, Body=data)

if __name__ == '__main__':
    with multiprocessing.Pool(initializer=init_worker) as pool:
        pool.starmap(upload_task, [('test-bucket', 'key1', b'data1'), ('test-bucket', 'key2', b'data2')])

这种方式避免了进程池中每个任务重复创建client/resource，大幅减少load_service_model的调用次数。

3. 临时回退到Botocore 1.27.x版本 #

如果上述方案无法解决问题，可临时回退到Botocore 1.27.x系列版本，直到官方优化该特性或找到更适配的解决方案：

pip install botocore==1.27.64

回退时需确保Boto3版本与Botocore版本兼容。

4. 禁用端点发现特性 #

在测试环境中显式禁用端点发现特性，可减少不必要的服务模型加载开销。创建client时传入endpoint_discovery_enabled=False参数：

s3_client = boto3.client('s3', endpoint_url='http://localhost:5000', endpoint_discovery_enabled=False)

内容的提问来源于stack exchange，提问作者gmoss