如何用Spring 3.2.0 RestClient实现多服务大文件无内存流式传输？

我有服务“A”，其控制器方法可正常流式下载大文件（已测试约5GB），代码如下：

@GetMapping("/file")
public ResponseEntity<StreamingResponseBody> getPdf() throws IOException {
    
    File file = new File("My Movie.mp4");
    if (!file.exists()) {
        return ResponseEntity.status(HttpStatus.NOT_FOUND).build();
    }

    HttpHeaders headers = new HttpHeaders();
    headers.setContentType(MediaType.APPLICATION_OCTET_STREAM);
    headers.setContentDispositionFormData("attachment", "My Movie.mp4");

    StreamingResponseBody responseBody = outputStream -> {
        try (FileInputStream fis = new FileInputStream(file)) {
            byte[] buffer = new byte[4096];
            int bytesRead;
            while ((bytesRead = fis.read(buffer)) != -1) {
                outputStream.write(buffer, 0, bytesRead);
            }
        } catch (IOException e) {
            //
        }
    };

    return ResponseEntity.ok()
            .headers(headers)
            .body(responseBody);
}

现服务“B”需调用服务“A”的/file端点，要求不将文件存入服务B内存，但当前实现会抛出java.lang.OutOfMemoryError异常，错误代码如下：

@GetMapping("/fetchAndStreamFile")
public ResponseEntity<StreamingResponseBody> fetchAndStreamFile() {
    StreamingResponseBody responseBody = outputStream -> restClient
            .get()
            .uri("http://localhost:8081/file")
            .retrieve()
            .body(StreamingResponseBody.class);

    return ResponseEntity.ok()
            .contentType(MediaType.APPLICATION_OCTET_STREAM)
            .body(responseBody);
}

需解决两个问题：

• 如何使用Spring Framework 3.2.0的RestClient实现无内存占用的流式转发？
• 多服务间传递大文件的最优方案是什么？

一、RestClient流式转发正确实现 #

当前服务B的问题在于直接将响应体转换为StreamingResponseBody时，RestClient并未真正执行流式处理，而是会将整个响应加载到内存中，导致大文件场景下内存溢出。正确的做法是直接获取服务A的响应输入流，逐块写入服务B的输出流，实现流对流的直接转发，内存中仅保留固定大小的缓冲区数据。

修改后的服务B代码：

@GetMapping("/fetchAndStreamFile")
public ResponseEntity<StreamingResponseBody> fetchAndStreamFile() {
    StreamingResponseBody responseBody = outputStream -> {
        restClient.get()
                .uri("http://localhost:8081/file")
                .retrieve()
                .body((clientHttpResponse, context) -> {
                    // 从服务A的响应中获取输入流，逐块写入输出流
                    try (InputStream inputStream = clientHttpResponse.getBody()) {
                        byte[] buffer = new byte[4096];
                        int bytesRead;
                        while ((bytesRead = inputStream.read(buffer)) != -1) {
                            outputStream.write(buffer, 0, bytesRead);
                            // 强制刷新输出流，避免数据堆积
                            outputStream.flush();
                        }
                    } catch (IOException e) {
                        throw new RuntimeException("文件流式转发失败", e);
                    }
                    return null;
                });
    };

    // 可从服务A的响应头中获取Content-Disposition等信息，这里简化设置
    HttpHeaders headers = new HttpHeaders();
    headers.setContentType(MediaType.APPLICATION_OCTET_STREAM);
    headers.setContentDispositionFormData("attachment", "My Movie.mp4");

    return ResponseEntity.ok()
            .headers(headers)
            .body(responseBody);
}

关键细节：

• 使用body(ResponseBodyExtractor)方法，直接操作原始输入流，跳过RestClient的自动序列化逻辑，避免内存加载整个文件。
• 采用4KB缓冲区逐块读写，确保服务B内存占用恒定。
• 添加flush()操作，确保数据及时传递到客户端，防止缓冲区阻塞。

二、多服务间传递大文件的最优方案 #

1. 直接流式转发（轻量场景首选） #

适用于服务间链路稳定、文件大小中等的场景。优点是架构简单，无需额外存储；缺点是链路中断后需重新传输，不支持断点续传。

2. 对象存储中转（大文件场景最优解） #

• 服务A将文件上传至对象存储（如MinIO、AWS S3、阿里云OSS），生成带有效期的预签名URL。
• 服务A将预签名URL返回给服务B，服务B可直接将URL返回给客户端，让客户端从对象存储直接下载；或服务B通过预签名URL流式读取并转发。
• 核心优势：
  • 服务间仅传递URL，大幅降低带宽占用和服务压力。
  • 对象存储天然支持断点续传、高可用、分布式存储。
  • 预签名URL可控制访问权限和有效期，安全性高。

3. 分片异步传输（超大文件场景） #

• 服务A将文件拆分为固定大小的分片，通过消息队列（如Kafka、RabbitMQ）发送分片数据。
• 服务B消费分片并重组文件，或直接将分片流式转发给客户端。
• 优点：异步解耦，支持断点续传；缺点：实现复杂度高，需处理分片丢失、重组逻辑。

4. HTTP/2协议优化 #

若服务间采用HTTP/2协议，其流多路复用特性可提升流式转发的传输效率，减少连接开销，配合直接流式转发使用可优化性能。

内容的提问来源于stack exchange，提问作者Николай