使用Apache Async Http Client从Azure Storage下载大文件时如何获取响应流

我来帮你搞定这个问题！核心就是在异步回调的completed方法里，从HttpResponse中提取响应实体的输入流，这样你就能直接操作流来处理大文件，不用把整个文件加载到内存里。

关键步骤说明 #

• 在completed回调中，先检查响应的状态码，确保请求成功（比如200 OK）
• 通过httpResponse.getEntity()获取HttpEntity对象，再调用getContent()拿到InputStream
• 用try-with-resources来自动关闭流，避免资源泄漏
• 注意异步回调的线程是客户端的线程池，不要在这里做长时间阻塞操作，如果需要耗时处理，最好把流的处理转到自己的线程池

完整示例代码 #

CloseableHttpAsyncClient httpclient = HttpAsyncClients.createDefault();
httpclient.start(); // 别忘了启动客户端！

// 假设你的request已经配置好Azure Storage的下载地址等参数
HttpGet request = new HttpGet("https://yourstorageaccount.blob.core.windows.net/container/blobname");

CompletableFuture<InputStream> future = new CompletableFuture<>();

httpclient.execute(request, new FutureCallback<HttpResponse>() {
    @Override
    public void completed(final HttpResponse httpResponse) {
        try {
            // 先验证响应状态
            int statusCode = httpResponse.getStatusLine().getStatusCode();
            if (statusCode >= 200 && statusCode < 300) {
                HttpEntity entity = httpResponse.getEntity();
                if (entity != null) {
                    // 获取响应流，这里可以直接返回或者处理
                    InputStream inputStream = entity.getContent();
                    // 用try-with-resources包裹，确保流最终被关闭
                    try (InputStream stream = inputStream) {
                        // 这里可以做流的处理，比如分块读取、写到文件等
                        // 示例：读取前1024字节
                        byte[] buffer = new byte[1024];
                        int bytesRead;
                        while ((bytesRead = stream.read(buffer)) != -1) {
                            // 处理读取到的字节，比如写入文件或者处理业务逻辑
                            System.out.println("读取到 " + bytesRead + " 字节");
                        }
                        future.complete(null); // 如果不需要返回流，完成future
                        // 如果你需要把流返回给调用方，要注意线程和关闭问题，可能需要包装流
                        // future.complete(new CloseShieldInputStream(stream)); // 避免被提前关闭
                    }
                } else {
                    future.completeExceptionally(new IOException("响应实体为空"));
                }
            } else {
                future.completeExceptionally(new IOException("请求失败，状态码：" + statusCode));
            }
        } catch (IOException e) {
            future.completeExceptionally(e);
        }
    }

    @Override
    public void failed(final Exception e) {
        future.completeExceptionally(e);
    }

    @Override
    public void cancelled() {
        future.completeExceptionally(new CancellationException("请求被取消"));
    }
});

// 后续可以通过future获取结果或者处理异常
try {
    future.get();
    System.out.println("文件流处理完成");
} catch (InterruptedException | ExecutionException e) {
    e.printStackTrace();
} finally {
    // 最后关闭客户端
    try {
        httpclient.close();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

重要注意事项 #

• 线程问题：completed回调是在Apache Async HttpClient的内部线程池执行的，不要在这里做长时间的阻塞操作（比如大量IO或者计算），否则会占用客户端的线程资源，影响其他请求。如果需要耗时处理，建议把流的处理逻辑提交到你自己的线程池。
• 流的关闭：一定要确保流被关闭，上面的示例用了try-with-resources，会自动关闭流。如果你需要把流传递到其他地方处理，可以用CloseShieldInputStream来包装，避免流被提前关闭。
• Azure Storage特殊处理：如果是下载大文件，Azure Storage支持分块下载（Range请求），你可以结合这个特性，用异步客户端分批请求不同的块，提升下载效率。

内容的提问来源于stack exchange，提问作者lostintranslation