Spring Boot中AWS S3Client putObject连接池超时问题求助

Spring Boot项目部署到服务器后，运行一段时间会抛出ConnectionPoolTimeoutException，重启服务后问题消失，但过段时间会再次出现。已尝试将连接池从默认50调至500（仅延长错误出现时间）、用try-with-resources处理输入流（无效果），怀疑存在连接未释放的泄漏问题。

现有S3客户端配置代码 #

@Bean
public AmazonS3 amazonS3Client(){
    // Create a ClientConfiguration object to configure the S3 client
    ClientConfiguration clientConfig = new ClientConfiguration();

    // Set the maximum number of open HTTP connections (connection pool size)
    clientConfig.setMaxConnections(500); // Set your desired pool size here
    clientConfig.setConnectionTimeout(10000); // 15 seconds

    Regions clientRegion = Regions.US_EAST_1;

    AppConfig config = appConfigRepository.findAll().get(0);

    String accessKey = config.getAmazonS3AccessKey();
    String secretKey = config.getAmazonS3SecretKey();

    //This code expects that you have AWS credentials set up per:
    // https://docs.aws.amazon.com/sdk-for-java/v1/developer-guide/setup-credentials.html
    // Create AWS Basic Credentials
    BasicAWSCredentials credentials = new BasicAWSCredentials(accessKey, secretKey);

    // Configure the S3 client builder
    AmazonS3ClientBuilder clientBuilder = AmazonS3ClientBuilder.standard()
            .withCredentials(new AWSStaticCredentialsProvider(credentials))
            .withClientConfiguration(clientConfig)
            .withRegion(clientRegion);

    // Build the S3 client
    return clientBuilder.build();
}

现有客户端使用代码 #

try (ByteArrayInputStream inputStream = new ByteArrayInputStream(imageBytes)) {
    s3Client.putObject(bucketName, imagePath, inputStream, metadata);
}

排查与解决方法 #

1. 显式关闭客户端回收连接

AWS SDK v1的AmazonS3Client在Bean销毁时不会自动关闭连接池，需手动添加销毁逻辑：

@Autowired
private AmazonS3 s3Client;

@PreDestroy
public void destroyS3Client() {
    if (s3Client instanceof AmazonS3Client) {
        ((AmazonS3Client) s3Client).shutdown();
    }
}

该方法会在应用关闭时强制回收所有连接池资源，避免残留连接占用。

2. 完善连接池超时配置

当前配置仅设置了最大连接数和连接超时，缺少空闲连接回收规则，导致连接长期占用。修改ClientConfiguration：

clientConfig.setMaxConnections(500);
clientConfig.setConnectionTimeout(10000);
// 空闲连接超时（5分钟后自动回收）
clientConfig.setConnectionTTL(300000);
// 套接字超时（防止请求挂起占用连接）
clientConfig.setSocketTimeout(30000);
// 设置最大错误重试次数，避免重试占用过多连接
clientConfig.setMaxErrorRetry(3);

这些配置会让连接池主动清理闲置或超时的连接，避免池资源耗尽。

3. 完善异常处理逻辑

若putObject抛出未捕获异常，可能导致连接无法正常回收。补充异常捕获：

try (ByteArrayInputStream inputStream = new ByteArrayInputStream(imageBytes)) {
    s3Client.putObject(bucketName, imagePath, inputStream, metadata);
} catch (AmazonServiceException | AmazonClientException e) {
    // 日志记录异常，确保客户端触发连接回收逻辑
    log.error("S3上传失败", e);
    throw new RuntimeException("图片上传失败", e);
}

AWS SDK在捕获到异常时会主动回收连接，显式处理可避免未预期的连接泄漏。

4. 迁移至AWS SDK v2（推荐）

AWS SDK v1的连接池存在已知的泄漏问题，v2重写了HTTP客户端实现，连接管理更稳定。迁移示例：

@Bean
public S3Client s3Client() {
    AppConfig config = appConfigRepository.findAll().get(0);
    AwsCredentials credentials = AwsBasicCredentials.create(
        config.getAmazonS3AccessKey(),
        config.getAmazonS3SecretKey()
    );
    return S3Client.builder()
        .credentialsProvider(StaticCredentialsProvider.create(credentials))
        .region(Region.US_EAST_1)
        .httpClientBuilder(HttpClient.builder()
            .maxConcurrency(500)
            .connectionTimeout(Duration.ofSeconds(10))
            .socketTimeout(Duration.ofSeconds(30))
        )
        .build();
}

v2客户端会自动管理连接池，无需手动关闭，性能和稳定性均优于v1。

5. 监控连接池状态

添加定时监控，打印连接池使用情况，确认是否存在泄漏：

@Autowired
private AmazonS3 s3Client;

@Scheduled(fixedRate = 60000) // 每分钟打印一次
public void monitorConnectionPool() {
    if (s3Client instanceof AmazonS3Client) {
        AmazonS3Client client = (AmazonS3Client) s3Client;
        HttpClientConnectionManager connectionManager = client.getHttpClient().getConnectionManager();
        if (connectionManager instanceof PoolingHttpClientConnectionManager) {
            PoolingHttpClientConnectionManager poolManager = (PoolingHttpClientConnectionManager) connectionManager;
            log.info("S3连接池状态: 已占用连接={}, 最大连接数={}", 
                poolManager.getTotalStats().getLeased(), 
                poolManager.getMaxTotal());
        }
    }
}

通过监控数据可直观判断连接是否被持续占用，定位泄漏根源。

内容的提问来源于stack exchange，提问作者Mohamed E.