使用RestClient上传大文件时出现Broken Pipe传输连接写入错误

问题背景 #

使用RestSharp上传文件时，29MB以内文件正常，37MB文件触发以下错误：

System.Net.WebException: Error while copying content to a stream.
       ---> System.Net.Http.HttpRequestException: Error while copying content to a stream.
       ---> System.IO.IOException: Unable to write data to the transport connection: Broken pipe.
       ---> System.Net.Sockets.SocketException (32): Broken pipe

目标API的HandleDataHere方法未执行，说明请求未到达业务逻辑层，问题出在传输或网关层面。

排查与解决方案 #

1. 调整ASP.NET Core API的请求大小限制 #

ASP.NET Core默认限制表单上传的请求体大小，需显式配置更大的阈值：

• 在Program.cs全局配置表单选项：

  builder.Services.Configure<FormOptions>(options =>
  {
      // 设置允许的最大多部分表单大小（示例为100MB）
      options.MultipartBodyLengthLimit = 100 * 1024 * 1024;
      options.ValueLengthLimit = int.MaxValue;
      options.MemoryBufferThreshold = int.MaxValue;
  });
  
  // 全局设置请求体大小限制
  app.Use(async (context, next) =>
  {
      var feature = context.Features.Get<IHttpMaxRequestBodySizeFeature>();
      if (feature != null) feature.MaxRequestBodySize = 100 * 1024 * 1024;
      await next();
  });
  

• 或在控制器方法上添加特性（局部配置）：

  [RequestSizeLimit(100 * 1024 * 1024)]
  [HttpPost]
  public async Task<IActionResult> UploadFile(IFormFile formFile)
  {
      // ... 原有逻辑
  }
  

2. 配置NGINX Ingress的上传限制 #

Kubernetes的NGINX Ingress默认限制客户端上传大小，需添加注解调整：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: your-ingress-name
  annotations:
    # 允许最大上传文件大小（示例为100MB）
    nginx.ingress.kubernetes.io/client-max-body-size: 100m
    # 延长代理读取/发送超时时间，避免大文件上传超时断开
    nginx.ingress.kubernetes.io/proxy-read-timeout: "300"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "300"
spec:
  # ... 原有Ingress规则

3. 检查Kubernetes Pod的资源与探针配置 #

• 资源限制：如果Pod的内存/CPU配额不足，大文件上传时可能触发OOM被杀死，导致连接断开。执行以下命令查看Pod事件：

  kubectl describe pod <target-service-pod-name>
  

  若发现OOMKilled事件，需调整Pod的resources.limits配置。
• 探针配置：存活/就绪探针的超时时间过短，可能在上传过程中判定Pod不健康并重启，导致Broken Pipe。调整探针参数：

  livenessProbe:
    httpGet:
      path: /healthz
      port: 15012
    timeoutSeconds: 10
    periodSeconds: 30
    failureThreshold: 3
  readinessProbe:
    httpGet:
      path: /healthz
      port: 15012
    timeoutSeconds: 10
    periodSeconds: 10
    failureThreshold: 3
  

4. 优化RestSharp客户端上传逻辑 #

• 使用流方式上传，避免一次性加载大文件到内存：

  RestClient client = new("http://data-target-service:15012")
  {
    Timeout = -1
  };
  RestRequest request = new(Method.Post);
  
  // 使用流上传，减少内存占用
  using var fileStream = file.OpenRead();
  request.AddFile("formFile", () => fileStream, file.Name, file.Length);
  
  IRestResponse response = await client.ExecuteAsync(request).ConfigureAwait(false);
  

• 确保客户端未因上下文切换导致连接意外断开，添加ConfigureAwait(false)。

5. 排查网络策略与日志 #

• 检查Kubernetes网络策略，是否限制了目标服务的入站大流量请求。
• 查看NGINX Ingress控制器的日志，确认是否有请求被拒绝的记录：

  kubectl logs -n <ingress-namespace> <nginx-ingress-pod-name>
  

• 查看目标API Pod的日志，确认请求是否到达API网关层。

内容的提问来源于stack exchange，提问作者jaxjo