如何增大S3连接池大小？解决连接池已满警告

你的代码虽给S3 Resource设置了max_pool_connections=20，但仍出现连接池大小为10的警告，问题出在两处：

• pd.read_csv直接读取S3路径时，会使用boto3的默认客户端，该客户端采用默认连接池大小（10），不会复用你自定义的S3 Resource配置
• Athena客户端未应用自定义连接池配置，若频繁调用Athena也可能触发连接池瓶颈

修改后的完整代码 #

import botocore.config
import boto3
import pandas as pd
from io import BytesIO

# 统一定义连接池配置
client_config = botocore.config.Config(
    max_pool_connections=20
)

# 给Athena和S3客户端都应用该配置
athena = boto3.client('athena', config=client_config)
s3_client = boto3.client('s3', config=client_config)

query_result = athena.start_query_execution(
    QueryString = query,
    ResultConfiguration = {
        'OutputLocation': s3_url
    }
)
queryExecutionId = query_result['QueryExecutionId']
response = athena.get_query_execution(QueryExecutionId = queryExecutionId)

# 通过自定义S3客户端读取文件，复用配置好的连接池
obj = s3_client.get_object(Bucket='s3_bucket', Key=f"{queryExecutionId}.csv")
df = pd.read_csv(BytesIO(obj['Body'].read()))

# 注意：boto3客户端无需手动调用close()，botocore会自动管理连接池
# athena.close()  # 该行可删除

关键说明 #

• 所有AWS客户端（Athena、S3）都要绑定同一个自定义Config，确保连接池配置全局统一
• 避免用pd.read_csv直接读取S3路径，改用S3客户端的get_object获取文件流后再传给pandas，这样会复用你设置的连接池
• boto3的客户端/资源不需要手动关闭，close()方法属于冗余操作，反而可能干扰连接池的正常管理

内容的提问来源于stack exchange，提问作者Md Parvez Alam