Spring Boot中Apache HttpClient多线程场景的正确配置与使用

我在Spring Boot中编写了一个API方法，接收MultipartFile文件，先做处理再通过Apache HttpClient发送至其他服务，代码如下：

public void myMethod(MultipartFile multipartFile) {
    doProcessing(multipartFile.getInputStream()); 
    httpClient.sendFile(multipartFile);
}

目前功能正常，但不确定在多请求并发场景下如何配置才能保证安全使用。当前sendFile方法的实现如下：

public void sendFile(MultipartFile document){
    MultipartEntityBuilder builder = MultipartEntityBuilder.create();
    builder.setMode(HttpMultipartMode.LEGACY); 
    builder.addPart(
        "id", 
        new StringBody(id.toString(), ContentType.MULTIPART_FORM_DATA)
    );
    builder.addPart(
        "document", 
        new InputStreamBody(document.getInputStream(), ContentType.parse(mediaType))
    );

    HttpEntity entity = builder.build();
    HttpPost method = new HttpPost("myservice:8080/api/load");
    method.setEntity(entity);
    RequestConfig requestConfig = RequestConfig.custom()
        .setExpectContinueEnabled(true).build();
    HttpClientBuilder httpClientBuilder = HttpClientBuilder.create()
        .setDefaultRequestConfig(requestConfig);
    try (CloseableHttpClient client = httpClientBuilder.build();
         CloseableHttpResponse responseHttp = httpClient.execute(method);) {
        String json = EntityUtils.toString(responseHttp.getEntity(), StandardCharsets.UTF_8);
        response = objectMapper.readValue(json, Dto.class);
// ...
    }
}

我不确定这种写法在多并发请求场景下是否正确，是否应该创建一个单例的CloseableHttpClient实例？另外多线程场景下还需要配置哪些属性？

1. 必须使用单例CloseableHttpClient #

当前每次调用sendFile都新建CloseableHttpClient实例的写法在并发场景下存在严重问题：每个实例会独立创建连接池、线程等资源，高并发时会快速耗尽系统文件句柄和内存，引发连接超时、资源耗尽等异常。

CloseableHttpClient是线程安全的，应全局创建唯一单例实例。在Spring Boot中可通过@Bean将其注册为单例Bean，实现全应用复用：

@Configuration
public class HttpClientConfig {

    @Bean
    public CloseableHttpClient closeableHttpClient() {
        RequestConfig requestConfig = RequestConfig.custom()
                .setExpectContinueEnabled(true)
                // 基础请求配置
                .build();

        return HttpClientBuilder.create()
                .setDefaultRequestConfig(requestConfig)
                // 后续添加并发相关配置
                .build();
    }
}

之后在服务类中注入该单例使用：

@Autowired
private CloseableHttpClient httpClient;

public void sendFile(MultipartFile document){
    // 保持原有实体构建逻辑
    HttpEntity entity = builder.build();
    HttpPost method = new HttpPost("myservice:8080/api/load");
    method.setEntity(entity);
    
    try (CloseableHttpResponse responseHttp = httpClient.execute(method);) {
        String json = EntityUtils.toString(responseHttp.getEntity(), StandardCharsets.UTF_8);
        response = objectMapper.readValue(json, Dto.class);
        // ... 后续逻辑
    }
}

2. 多线程场景下的关键配置 #

连接池核心配置 #

必须配置连接池来控制并发连接数，避免无限制创建连接：

@Bean
public CloseableHttpClient closeableHttpClient() {
    PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager();
    // 全局最大总连接数
    connectionManager.setMaxTotal(200);
    // 单个目标服务的最大并发连接数
    connectionManager.setDefaultMaxPerRoute(50);
    // 针对特定服务的自定义连接数限制
    connectionManager.setMaxPerRoute(new HttpRoute(new HttpHost("myservice", 8080)), 100);

    RequestConfig requestConfig = RequestConfig.custom()
            .setExpectContinueEnabled(true)
            // TCP连接建立超时时间
            .setConnectTimeout(5000)
            // 服务器响应读取超时时间
            .setSocketTimeout(15000)
            // 从连接池获取连接的等待超时时间
            .setConnectionRequestTimeout(3000)
            .build();

    return HttpClientBuilder.create()
            .setConnectionManager(connectionManager)
            .setDefaultRequestConfig(requestConfig)
            // 定期回收空闲/过期连接
            .evictIdleConnections(30, TimeUnit.SECONDS)
            .evictExpiredConnections()
            .build();
}

并发安全注意事项 #

• HttpPost、MultipartEntityBuilder、HttpEntity均为线程不安全对象，必须在每个请求中单独创建，不能复用，你当前的写法这部分是正确的。
• MultipartFile.getInputStream()每次调用都会返回新的流实例，因此InputStreamBody在多线程下不会出现流重复读取的问题，无需额外处理。
• 保持try-with-resources语法，确保连接和流在请求结束后自动释放，避免资源泄漏。

内容的提问来源于stack exchange，提问作者Arzybek