从Kaltura下载100MB+MP4文件过慢，寻求Java代码优化方法

看起来你现在的代码在处理100MB+的Kaltura MP4文件时，因为把整个文件先加载到内存里，导致耗时高还可能有内存溢出风险。我给你几个针对性的优化方案，从根本上解决这个问题：

1. 直接流拷贝，避免全量加载到内存 #

你的现有代码把整个文件读进ByteArrayOutputStream，相当于先把100MB+的数据全存在内存里再写到响应流——这不仅慢，还会占用大量堆内存。直接把输入流的数据实时写到响应输出流，跳过中间的内存缓冲区，能大幅提升速度还省内存。

示例代码：

try {
    URL url = new URL("https://www.kaltura.com/p/....");
    // 用try-with-resources自动关闭流，避免资源泄漏
    try (InputStream in = new BufferedInputStream(url.openStream());
         OutputStream out = res.getOutputStream()) {
        
        byte[] buf = new byte[32768]; // 把缓冲区调大到32KB，比默认8KB更适配大文件传输
        int readBytes;
        while ((readBytes = in.read(buf)) != -1) {
            out.write(buf, 0, readBytes); // 只写实际读到的字节数，避免冗余操作
            out.flush(); // 实时刷新输出流，减少缓冲区积压
        }
    }
    
    res.setContentType("application/octet-stream");
    res.setHeader("Cache-Control", "no-cache");
    // 编码文件名避免特殊字符解析错误
    String encodedFilename = URLEncoder.encode("Smac_03_48.mp4 (iPad).mp4", StandardCharsets.UTF_8.toString());
    res.setHeader("Content-Disposition", "attachment;filename=\"" + encodedFilename + "\"");
    res.setStatus(200);
} catch (Exception e) {
    e.printStackTrace();
    res.setStatus(500); // 记得返回错误状态码
}

2. 使用NIO Channels提升传输效率 #

Java NIO的Channel API比传统IO流更高效，尤其是大文件传输——底层用了更优的系统调用，减少了用户态到内核态的内存拷贝次数。

示例代码：

try {
    URL url = new URL("https://www.kaltura.com/p/....");
    URLConnection conn = url.openConnection();
    conn.setConnectTimeout(5000); // 设置5秒连接超时
    conn.setReadTimeout(30000); // 设置30秒读取超时

    try (ReadableByteChannel inChannel = Channels.newChannel(conn.getInputStream());
         WritableByteChannel outChannel = Channels.newChannel(res.getOutputStream())) {
        
        // 使用直接内存缓冲区，减少JVM堆内存占用
        ByteBuffer buffer = ByteBuffer.allocateDirect(32768);
        while (inChannel.read(buffer) != -1) {
            buffer.flip(); // 切换到读模式
            outChannel.write(buffer);
            buffer.compact(); // 保留未写完的数据，避免重复读取
        }
        // 处理缓冲区剩余的最后一批数据
        buffer.flip();
        while (buffer.hasRemaining()) {
            outChannel.write(buffer);
        }
    }
    
    res.setContentType("application/octet-stream");
    res.setHeader("Cache-Control", "no-cache");
    String encodedFilename = URLEncoder.encode("Smac_03_48.mp4 (iPad).mp4", StandardCharsets.UTF_8.toString());
    res.setHeader("Content-Disposition", "attachment;filename=\"" + encodedFilename + "\"");
    res.setStatus(200);
} catch (Exception e) {
    e.printStackTrace();
    res.setStatus(500);
}

3. 启用HTTP范围请求（分段并行下载） #

如果Kaltura服务器支持Range请求，你可以把文件分成多个块并行下载，进一步提升大文件的下载速度，还能支持断点续传。

示例代码（简化版）：

try {
    URL url = new URL("https://www.kaltura.com/p/....");
    HttpURLConnection headConn = (HttpURLConnection) url.openConnection();
    headConn.setRequestMethod("HEAD");
    // 检查服务器是否支持分段下载
    boolean supportsRange = "bytes".equals(headConn.getHeaderField("Accept-Ranges"));
    long fileSize = headConn.getContentLengthLong();
    headConn.disconnect();

    if (supportsRange) {
        int chunkCount = 4; // 分成4块并行下载
        long chunkSize = fileSize / chunkCount;
        File tempFile = File.createTempFile("kaltura_download", ".tmp");
        ExecutorService executor = Executors.newFixedThreadPool(chunkCount);

        for (int i = 0; i < chunkCount; i++) {
            long start = i * chunkSize;
            long end = (i == chunkCount - 1) ? fileSize - 1 : (i + 1) * chunkSize - 1;
            executor.submit(() -> {
                try (HttpURLConnection chunkConn = (HttpURLConnection) url.openConnection();
                     InputStream in = chunkConn.getInputStream();
                     RandomAccessFile raf = new RandomAccessFile(tempFile, "rw")) {
                    chunkConn.setRequestProperty("Range", "bytes=" + start + "-" + end);
                    raf.seek(start);
                    byte[] buf = new byte[32768];
                    int readBytes;
                    while ((readBytes = in.read(buf)) != -1) {
                        raf.write(buf, 0, readBytes);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
        }

        executor.shutdown();
        executor.awaitTermination(1, TimeUnit.HOURS); // 等待所有块下载完成

        // 把临时文件写入响应流
        try (InputStream in = new FileInputStream(tempFile);
             OutputStream out = res.getOutputStream()) {
            byte[] buf = new byte[32768];
            int readBytes;
            while ((readBytes = in.read(buf)) != -1) {
                out.write(buf, 0, readBytes);
            }
        }
        tempFile.delete(); // 清理临时文件
    } else {
        // 不支持分段的话，直接用第一种流拷贝方法
        try (InputStream in = new BufferedInputStream(url.openStream());
             OutputStream out = res.getOutputStream()) {
            byte[] buf = new byte[32768];
            int readBytes;
            while ((readBytes = in.read(buf)) != -1) {
                out.write(buf, 0, readBytes);
            }
        }
    }

    res.setContentType("application/octet-stream");
    res.setHeader("Cache-Control", "no-cache");
    String encodedFilename = URLEncoder.encode("Smac_03_48.mp4 (iPad).mp4", StandardCharsets.UTF_8.toString());
    res.setHeader("Content-Disposition", "attachment;filename=\"" + encodedFilename + "\"");
    res.setStatus(200);
} catch (Exception e) {
    e.printStackTrace();
    res.setStatus(500);
}

其他小优化建议 #

• 复用HTTP连接：如果需要多次下载Kaltura文件，建议用Apache HttpClient或OkHttp这类库，它们自带连接池管理，能减少TCP握手的开销。
• 监控下载进度：对于超大文件，可以添加进度监听逻辑，方便排查慢下载的瓶颈点。

内容的提问来源于stack exchange，提问作者Rohit Aggarwal