SpringBoot实现Ingress重流Storage大文件至客户端（规避内存溢出）

核心原理 #

通过分块处理请求响应，Ingress接收到Storage返回的数据流后，立即将小块数据转发给客户端，全程不缓存完整文件到内存或磁盘，从根本上避免内存溢出和磁盘IO开销。

具体实现方案 #

1. 基于Nginx Ingress Controller的配置（主流网关场景） #

如果你的Ingress基于Nginx实现，直接利用其原生流式转发能力，默认已支持分块传输，可通过以下参数优化确保无缓存：

• 禁用响应缓存：添加proxy_buffering off;，阻止Nginx将响应缓存到内存/磁盘
• 强制分块编码：chunked_transfer_encoding on;（默认开启，适配客户端分块接收逻辑）
• 缩小缓冲区：proxy_buffer_size 4k;，强制对大文件做分块处理

示例配置片段：

location /large-files/ {
    proxy_pass http://storage-service;
    proxy_buffering off;
    chunked_transfer_encoding on;
    proxy_buffer_size 4k;
}

2. 自定义Ingress服务（代码实现） #

若为自研Ingress服务，根据开发语言特性实现流式转发：

Go语言示例

利用io.Copy直接在两个HTTP连接间复制数据流，底层自动分块处理，不会加载完整文件到内存：

func handleFileRequest(w http.ResponseWriter, r *http.Request) {
    // 向Storage发起请求
    storageResp, err := http.Get("http://storage-service" + r.URL.Path)
    if err != nil {
        http.Error(w, err.Error(), http.StatusInternalServerError)
        return
    }
    defer storageResp.Body.Close()

    // 复制响应头到客户端
    for k, v := range storageResp.Header {
        w.Header()[k] = v
    }
    w.WriteHeader(storageResp.StatusCode)

    // 流式转发：边读Storage响应边写给客户端
    _, err = io.Copy(w, storageResp.Body)
    if err != nil {
        // 处理转发过程中的异常
    }
}

Java（Spring Boot）示例

使用ServletResponse输出流实现分块传输，避免加载完整文件：

@GetMapping("/large-files/{fileId}")
public void getLargeFile(@PathVariable String fileId, HttpServletResponse response) throws IOException {
    // 调用Storage服务获取响应流
    RestTemplate restTemplate = new RestTemplate();
    ResponseEntity<InputStreamResource> storageResp = restTemplate.getForEntity(
        "http://storage-service/files/" + fileId,
        InputStreamResource.class
    );

    // 复制响应头
    storageResp.getHeaders().forEach((key, value) -> response.setHeader(key, String.join(",", value)));
    response.setStatus(storageResp.getStatusCodeValue());

    // 流式写入客户端输出流
    try (InputStream in = storageResp.getBody().getInputStream();
         OutputStream out = response.getOutputStream()) {
        byte[] buffer = new byte[4096]; // 4KB缓冲区，可按需调整
        int bytesRead;
        while ((bytesRead = in.read(buffer)) != -1) {
            out.write(buffer, 0, bytesRead);
            out.flush(); // 确保数据立即发送
        }
    }
}

3. 基于Envoy Ingress的配置 #

若使用Envoy作为Ingress，配置buffer_limit为0强制流式处理：

routes:
- match:
    prefix: "/large-files/"
  route:
    cluster: storage-service-cluster
  typed_per_filter_config:
    envoy.filters.http.buffer:
      "@type": type.googleapis.com/envoy.extensions.filters.http.buffer.v3.Buffer
      buffer_limit: 0 # 禁用缓冲区，直接流式转发

关键注意事项 #

• 确保客户端支持HTTP/1.1分块传输编码（绝大多数现代客户端默认支持）
• 避免在Ingress层添加任何需要缓存完整响应的逻辑（如全量响应体日志）
• 根据网络带宽调整缓冲区大小（建议4KB-64KB），平衡CPU与网络开销

内容的提问来源于stack exchange，提问作者Hasuni