SpringBoot Cloud Run流式输出大CSV触发Broken Pipe异常排查求助

我在GCP Cloud Run上部署了一个SpringBoot接口，功能是查询数据源并生成大CSV文件流式输出到浏览器。当输出约2GB数据时，Cloud Run日志抛出Broken Pipe异常，测试接口可稳定复现。不管直接调用接口还是通过外部负载均衡调用，都会出现下载提前中断的情况，且容器未触发OOM异常。需要排查是否是Cloud Run默认连接超时，或是SpringBoot配置问题。

异常日志 #

logger: "org.apache.catalina.core.ContainerBase.[Tomcat].[localhost].[/].[dispatcherServlet]"
message: "Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed: java.lang.RuntimeException: org.springframework.web.context.request.async.AsyncRequestNotUsableException: ServletOutputStream failed to write: java.io.IOException: Broken pipe] with root cause"
stack_trace: "java.io.IOException: Broken pipe
    at java.base/sun.nio.ch.FileDispatcherImpl.write0(Native Method)
    at java.base/sun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:62)
    at java.base/sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:132)
    at java.base/sun.nio.ch.IOUtil.write(IOUtil.java:97)
    at java.base/sun.nio.ch.IOUtil.write(IOUtil.java:53)
    at java.base/sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:532)
    at org.apache.tomcat.util.net.NioChannel.write(NioChannel.java:122)
    at org.apache.tomcat.util.net.NioEndpoint$NioSocketWrapper.doWrite(NioEndpoint.java:1378)
    at org.apache.tomcat.util.net.SocketWrapperBase.doWrite(SocketWrapperBase.java:764)
    at org.apache.tomcat.util.net.SocketWrapperBase.writeBlocking(SocketWrapperBase.java:589)
    at org.apache.tomcat.util.net.SocketWrapperBase.write(SocketWrapperBase.java:533)
    at org.apache.coyote.http11.Http11OutputBuffer$SocketOutputBuffer.doWrite(Http11OutputBuffer.java:533)
    at org.apache.coyote.http11.filters.ChunkedOutputFilter.doWrite(ChunkedOutputFilter.java:112)
    at org.apache.coyote.http11.Http11OutputBuffer.doWrite(Http11OutputBuffer.java:193)
    at org.apache.coyote.Response.doWrite(Response.java:622)

测试接口代码 #

@GetMapping("/searches/requests/large-file-gzip")
public void exportGzip(HttpServletResponse response) {

    response.setHeader(HttpHeaders.CONTENT_ENCODING, "gzip");
    response.setContentType(MediaType.TEXT_PLAIN_VALUE);
    response.setCharacterEncoding(StandardCharsets.UTF_8.displayName());
    response.setHeader(HttpHeaders.CONTENT_DISPOSITION, "attachment; filename=gzipped.csv");
    response.setStatus(200);

    try (GZIPOutputStream gzipOutputStream = new GZIPOutputStream(response.getOutputStream())) {

        for (int i = 0; i < 3500000; i++) {
            StringBuilder sb = new StringBuilder();
            for (int j = 0; j < 24; j++) {
                sb.append(UUID.randomUUID());
                sb.append(j == 23 ? "\n" : ",");
            }
            gzipOutputStream.write(sb.toString().getBytes(StandardCharsets.UTF_8));
        }
        gzipOutputStream.finish();
    } catch (IOException e) {
        throw new RuntimeException(e);
    }
}

排查与解决方案 #

一、Cloud Run层面 #

• 超时时间检查：Cloud Run默认请求超时为900秒（15分钟），如果输出2GB数据耗时超过这个阈值，会被强制断开连接。进入Cloud Run服务配置页面，将超时时间调整到匹配实际输出时长的数值（最大可设为3600秒）。
• 负载均衡配置：如果使用外部负载均衡，需确认LB的后端服务超时和连接保持超时参数是否适配大文件传输，避免LB提前终止连接。
• 网络传输限制：虽然Cloud Run无严格响应大小限制，但需排查中间网络节点是否存在传输限制或丢包，可通过监控传输过程中的带宽和延迟数据确认。

二、SpringBoot/Tomcat层面 #

• 异步请求配置：当前接口为同步处理，长时间占用Tomcat线程易触发连接超时。在application.properties中添加异步超时配置：

  server.tomcat.connection-timeout=600000
  server.tomcat.async-timeout=3600000
  

  同时将接口改为异步处理：

  @GetMapping("/searches/requests/large-file-gzip")
  public Callable<Void> exportGzip(HttpServletResponse response) {
      return () -> {
          // 原输出逻辑
          return null;
      };
  }
  

• 输出流优化：GZIPOutputStream默认缓冲可能导致数据堆积，每次写入后调用flush()及时推送数据：

  gzipOutputStream.write(sb.toString().getBytes(StandardCharsets.UTF_8));
  gzipOutputStream.flush();
  

• 响应头完善：显式设置Transfer-Encoding: chunked（Tomcat默认会添加，但显式设置更稳妥），同时确认Keep-Alive头配置正确，保持连接持久。

三、代码层面优化 #

• 降低内存开销：避免频繁的字符串拼接和字节数组转换，改用字符流直接写入：

  try (GZIPOutputStream gzipOut = new GZIPOutputStream(response.getOutputStream());
       OutputStreamWriter writer = new OutputStreamWriter(gzipOut, StandardCharsets.UTF_8)) {
      for (int i = 0; i < 3500000; i++) {
          for (int j = 0; j < 24; j++) {
              writer.write(UUID.randomUUID().toString());
              if (j != 23) {
                  writer.write(',');
              }
          }
          writer.write('\n');
          writer.flush();
      }
  } catch (IOException e) {
      log.error("文件输出异常", e);
  }
  

• 异常处理优化：捕获Broken Pipe异常时，判断是否为客户端主动断开或超时，避免不必要的RuntimeException抛出，优雅终止输出流程。

内容的提问来源于stack exchange，提问作者cobolstinks