使用Servlet流式传输大文件时避免浏览器缓冲的实现问题

问题背景 #

我正在开发一个Java 8 Servlet来下载压缩资源，文件大小差异很大，有时可达700MB。测试时我用的是350MB的ZIP文件。

预期行为是文件应该在流式传输时立即开始下载，但实际上浏览器会先缓冲整个文件，再提示用户保存，这导致保存对话框出现前有30-40秒的延迟。

我的Servlet代码 #

@Override
protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
    
    String strCryptedURL = request.getParameter(DownloadFolderServlet.URL_PARAM_NAME);
    String strURL = PasswordUtil.isPasswordEncrypted(strCryptedURL) ? PasswordUtil.decryptPassword(strCryptedURL) : strCryptedURL;

    try {
        URL url = new URL(strURL);
        String userInfo = url.getUserInfo();

        if (userInfo == null || !userInfo.contains(":")) {
            response.sendError(HttpServletResponse.SC_UNAUTHORIZED, "Missing credentials for WebDAV.");
            return;
        }

        String[] userPass = userInfo.split(":", 2);
        String username = userPass[0];
        String password = userPass[1];

        String sanitizedURL = url.getProtocol() + "://" + url.getHost() + ":" + url.getPort() + url.getPath();

        HttpURLConnection fileConn = (HttpURLConnection) new URL(sanitizedURL).openConnection();
        fileConn.setRequestMethod("GET");
        fileConn.setConnectTimeout(10000);
        fileConn.setReadTimeout(60000);

        String encodedAuth = Base64.getEncoder().encodeToString((username + ":" + password).getBytes(StandardCharsets.UTF_8));
        fileConn.setRequestProperty("Authorization", "Basic " + encodedAuth);

        if (fileConn.getResponseCode() != HttpURLConnection.HTTP_OK) {
            response.sendError(fileConn.getResponseCode(), "Error retrieving file from WebDAV.");
            return;
        }

        String fileName = url.getPath().substring(url.getPath().lastIndexOf("/") + 1);

        response.reset();
        response.setContentType("application/octet-stream");
        response.setHeader("Content-Disposition", "attachment; filename=\"" + fileName + "\"");
        response.setHeader("Content-Transfer-Encoding", "binary");

        response.setHeader("Transfer-Encoding", "chunked"); // Tried enabling chunked encoding

        response.flushBuffer();

        try (InputStream inputStream = fileConn.getInputStream();
             OutputStream outputStream = response.getOutputStream()) {

            byte[] buffer = new byte[8192]; // 8 KB buffer
            int bytesRead;
            while ((bytesRead = inputStream.read(buffer)) != -1) {
                outputStream.write(buffer, 0, bytesRead);
                outputStream.flush(); // Ensuring data is sent immediately
            }
            
        }
    } catch (Exception e) {
        e.printStackTrace();
        response.sendError(HttpServletResponse.SC_INTERNAL_SERVER_ERROR, "Error while downloading the ZIP file.");
    }
}

我已经尝试的方案 #

• 设置Transfer-Encoding: chunked
• 确保Content-Type: application/octet-stream
• 使用flushBuffer()
• 显式避免设置Content-Length（防止缓冲）

预期行为 #

浏览器应该立即提示用户，并在字节可用时逐步开始下载，而不是等待整个文件接收完成。

疑问 #

1. 我的实现中是否有导致浏览器缓冲所有内容才显示保存提示的问题？
2. 有没有办法强制浏览器在字节可用时就流式传输文件？

问题分析与解决方案 #

1. 你的代码中可能导致缓冲的潜在问题 #

首先，虽然你做了不少尝试，但还有几个容易被忽略的点可能让浏览器或中间服务（Servlet容器、反向代理）持续缓冲数据：

• Servlet容器默认缓冲：像Tomcat这类容器默认会对响应做缓冲，哪怕你调用了flush()，它可能攒够一定量数据才真正发往客户端，flushBuffer()的作用可能被容器配置抵消。
• WebDAV连接的内部缓冲：HttpURLConnection默认会对输入流做缓冲，这会导致你的Servlet得等WebDAV返回足够数据后才能转发，间接拉长了浏览器的等待时间。
• 缺少缓存控制指令：浏览器可能因为没有明确的缓存禁止头，选择先缓冲整个文件以便后续缓存，这对大文件来说完全没必要。

2. 强制浏览器流式传输的优化方案 #

按优先级给你整理几个可落地的优化点：

（1）添加明确的缓存控制头

给响应加上这些头，直接告诉浏览器不要缓存、不要预缓冲：

response.setHeader("Cache-Control", "no-cache, no-store, must-revalidate");
response.setHeader("Pragma", "no-cache");
response.setHeader("Expires", "0");

这些指令会让浏览器放弃缓存大文件的想法，转而立即处理流式数据。

（2）禁用Servlet容器的响应缓冲

除了flushBuffer()，你可以显式设置极小的缓冲区大小，强制容器一拿到数据就发出去：

response.setBufferSize(1024); // 设置为1KB，部分容器不支持0，用小值替代

（3）优化WebDAV连接的读取行为

修改HttpURLConnection的配置，禁用它的内部缓冲，同时请求WebDAV服务器以分块方式返回数据：

fileConn.setUseCaches(false);
fileConn.setDoInput(true);
// 告诉WebDAV不要压缩，直接返回原始流
fileConn.setRequestProperty("Accept-Encoding", "identity");
// 请求WebDAV用分块传输
fileConn.setRequestProperty("Transfer-Encoding", "chunked");

（4）强化flush的同步逻辑

你现在已经在每次写入后调用outputStream.flush()，可以再加上容器级的缓冲刷新，确保数据立刻发往客户端：

while ((bytesRead = inputStream.read(buffer)) != -1) {
    outputStream.write(buffer, 0, bytesRead);
    outputStream.flush();
    response.flushBuffer(); // 强制Servlet容器立即发送数据
}

（5）检查中间代理配置

如果你的Servlet前面有Nginx、Apache这类反向代理，它们默认会缓冲大响应。比如Nginx要加proxy_buffering off;，Apache要配置SetEnv no-gzip dont-vary，这一点很容易被忽略，但却是大文件延迟的常见元凶。

整合优化后的核心代码片段 #

把上面的优化点整合到你的代码中，关键修改部分如下：

// 响应头设置阶段
response.reset();
response.setBufferSize(1024);
response.setContentType("application/octet-stream");
response.setHeader("Content-Disposition", "attachment; filename=\"" + fileName + "\"");
response.setHeader("Content-Transfer-Encoding", "binary");
response.setHeader("Transfer-Encoding", "chunked");
// 添加缓存控制头
response.setHeader("Cache-Control", "no-cache, no-store, must-revalidate");
response.setHeader("Pragma", "no-cache");
response.setHeader("Expires", "0");

response.flushBuffer();

// WebDAV连接配置阶段
HttpURLConnection fileConn = (HttpURLConnection) new URL(sanitizedURL).openConnection();
fileConn.setRequestMethod("GET");
fileConn.setConnectTimeout(10000);
fileConn.setReadTimeout(60000);
fileConn.setUseCaches(false);
fileConn.setDoInput(true);
fileConn.setRequestProperty("Accept-Encoding", "identity");
fileConn.setRequestProperty("Transfer-Encoding", "chunked");

// 数据转发阶段
try (InputStream inputStream = fileConn.getInputStream();
     OutputStream outputStream = response.getOutputStream()) {

    byte[] buffer = new byte[8192];
    int bytesRead;
    while ((bytesRead = inputStream.read(buffer)) != -1) {
        outputStream.write(buffer, 0, bytesRead);
        outputStream.flush();
        response.flushBuffer();
    }
}

额外排查建议 #

• 换不同浏览器测试：Chrome对大文件的处理会比Firefox更激进，若延迟依旧存在，说明问题不在浏览器本身；
• 检查WebDAV响应头：确认WebDAV服务器没有返回Content-Length（不过你的Servlet作为中间层，浏览器看不到这个头，所以优先级较低）。

备注：内容来源于stack exchange，提问作者Salvatore Montagna