使用Java SDK v1.11.520查看AWS S3连接池剩余线程数

AWS S3 Java客户端（v1）底层依赖Apache HttpClient的连接池管理HTTP连接，要获取空闲连接数，需显式配置连接池管理器并暴露其统计信息，具体步骤如下：

1. 显式配置连接池并关联到S3客户端 #

默认AmazonS3ClientBuilder创建的连接池无法直接获取管理器实例，需手动初始化连接池并绑定到S3客户端：

import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import com.amazonaws.http.apache.client.impl.ApacheHttpClient;

// 初始化连接池管理器
PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager();
// 设置全局最大连接数（对应示例中的20）
connectionManager.setMaxTotal(20);
// 设置每个目标端点的最大连接数
connectionManager.setDefaultMaxPerRoute(20);

// 构建自定义HTTP客户端
CloseableHttpClient httpClient = HttpClientBuilder.create()
        .setConnectionManager(connectionManager)
        .build();

// 绑定到S3客户端
AmazonS3 s3Client = AmazonS3ClientBuilder.standard()
        .withHttpClient(new ApacheHttpClient(httpClient))
        .build();

2. 获取空闲连接数 #

通过连接管理器的统计API可直接获取空闲连接数：

// 获取全局空闲连接数（所有端点的空闲连接总和）
int globalIdleConnections = connectionManager.getTotalStats().getAvailable();

// 仅统计S3特定端点的空闲连接（例如s3.amazonaws.com）
HttpHost s3Endpoint = new HttpHost("s3.amazonaws.com", 443, "https");
int s3IdleConnections = connectionManager.getStats(s3Endpoint).getAvailable();

注：getAvailable()返回的就是当前空闲可用的连接数，对应示例中20个连接用了3个后剩余的17个。

3. 暴露为监控指标 #

若要将该数值集成到监控系统（如Prometheus、Grafana），可定时采集并注册为指标。以Micrometer为例：

import io.micrometer.core.instrument.Gauge;
import io.micrometer.core.instrument.MeterRegistry;

// 假设已初始化MeterRegistry实例
Gauge.builder("s3.connection.pool.idle.connections", connectionManager, cm -> cm.getTotalStats().getAvailable())
        .description("Number of idle connections in S3 connection pool")
        .register(meterRegistry);

注意事项 #

• 确保connectionManager实例全局可访问，以便监控逻辑定期获取统计数据
• 若使用AWS SDK v2，API会有差异，但核心思路一致：自定义HTTP客户端连接池，获取连接管理器的统计信息
• 也可通过getTotalStats().getLeased()获取已占用连接数，用最大总连接数 - 已占用数间接计算空闲数

内容的提问来源于stack exchange，提问作者Baruch Karlin