AWS负载均衡环境下超5分钟请求无响应问题求助

以下是针对该问题的具体排查点和解决建议：

1. 中间网络设备的TCP空闲超时 #

AWS VPC内的NAT网关、路由设备等默认TCP idle timeout通常为5分钟，即使应用层（IIS、LB）设置了更长超时，TCP连接仍会被中间设备主动断开，导致请求端无法接收已发出的响应。

• 排查方式：在请求端和API服务器同时用Wireshark抓包，查看是否在API发送响应前出现TCP RST包，确认连接被强制断开。
• 解决方法：
  • 调整AWS相关网络设备的TCP idle timeout至大于最大请求耗时（如60分钟以上）；
  • 在请求端代码中启用TCP保活：

    var request = (HttpWebRequest)WebRequest.Create(apiUrl);
    request.ServicePoint.SetTcpKeepAlive(true, 30000, 10000); // 每30秒发送保活包，间隔10秒重试
    

2. .NET连接池的连接回收机制 #

.NET 4.7.2的默认连接池会对闲置连接进行回收，若长耗时请求的连接被误判为闲置，会被提前关闭。

• 排查方式：检查请求端代码是否用using正确包裹HttpClient/HttpWebRequest实例；启用.NET网络跟踪日志（在配置文件中添加<system.diagnostics>节点），查看连接池的连接创建、回收日志。
• 解决方法：
  • 为长请求单独配置ServicePoint，设置连接租赁超时：

    ServicePointManager.FindServicePoint(apiUrl).ConnectionLeaseTimeout = 3600000; // 1小时
    

  • 若不需要连接复用，可显式关闭KeepAlive：request.KeepAlive = false;

3. IIS输出缓冲延迟发送响应 #

IIS默认会缓冲响应内容，直到缓冲满或请求处理完成才发送，若此时连接已断开，请求端无法接收响应。

• 排查方式：在API的Action中添加Response.Flush()强制发送响应，并记录Flush时间，对比请求端的超时日志。
• 解决方法：
  • 在API的Web.config中禁用输出缓冲：

    <system.webServer>
      <urlCompression doStaticCompression="true" doDynamicCompression="false" />
      <httpProtocol>
        <customHeaders>
          <add name="X-Accel-Buffering" value="no" />
        </customHeaders>
      </httpProtocol>
    </system.webServer>
    

  • 若业务允许，可在长耗时任务中分段调用Response.Flush()，确保响应能及时传递。

4. AWS负载均衡的健康检查干扰 #

若API服务器在处理长请求期间，CPU/内存负载过高导致健康检查失败，LB会终止当前连接。

• 排查方式：查看AWS LB的健康检查日志，确认请求丢失时间段内是否有API实例的健康状态切换；同时监控API服务器的资源使用率。
• 解决方法：
  • 调整LB健康检查的超时时间和失败阈值，避免长耗时任务触发健康检查失败；
  • 重构API架构，将长耗时任务改为异步处理：API先返回202 Accepted，后续通过回调接口或轮询方式返回结果（这是长耗时请求的最佳实践）。

5. CancelationToken的异常触发 #

虽然设置了1小时的CancelationToken，但可能存在代码逻辑错误导致Token被提前触发，或HttpClient未正确绑定Token。

• 排查方式：检查CancelationToken的创建和传递逻辑，确认没有其他代码调用Cancel()；启用.NET Tracing日志，查看请求终止的具体触发源。
• 解决方法：确保CancelationToken仅在1小时后触发，且HttpClient正确使用该Token：

  using (var cts = new CancellationTokenSource(TimeSpan.FromHours(1)))
  {
      var response = await httpClient.PostAsync(apiUrl, content, cts.Token);
  }
  

内容的提问来源于stack exchange，提问作者CAIsoul