NGINX反向代理Golang HTTP服务时POST请求偶发502错误求助

sendfile() failed (32: Broken pipe)错误本质是NGINX尝试通过已经被上游Golang服务关闭的TCP连接发送请求，导致管道断裂。偶发的特性基本可以判定是 长连接竞态问题，是反向代理和上游服务连接超时配置不匹配导致的高频触发场景。

常见触发原因 #

• Golang服务的空闲连接超时配置短于NGINX的上游长连接保持时间：Golang http.Server的IdleTimeout参数如果未显式配置，或者设置值小于NGINX的proxy_keepalive_timeout，就会出现NGINX将连接放入连接池复用，此时Golang侧已经因为超时主动关闭了连接，NGINX不知情直接用该连接发POST请求，触发Broken pipe。
• Golang服务逻辑异常：部分请求处理过程中提前终止连接，比如未处理完请求体就调用连接关闭方法，或者panic后没有捕获导致连接强制关闭。
• 服务器内核参数配置不当：比如tcp_tw_recycle开启导致NAT环境下连接被意外回收，或者somaxconn过小导致连接队列溢出被丢弃。

修复方案 #

对齐NGINX和Golang的超时配置 #

确保Golang侧的IdleTimeout比NGINX的proxy_keepalive_timeout长10~20秒即可解决90%以上的偶发502问题，示例配置如下：
Golang服务侧代码：

srv := &http.Server{
  Addr:         ":8081",
  IdleTimeout:  90 * time.Second, // 需大于NGINX侧的上游keepalive_timeout配置
  ReadTimeout:  30 * time.Second,
  WriteTimeout: 30 * time.Second,
}

NGINX反向代理配置新增/修改如下参数：

http {
  upstream go_backend {
    server 127.0.0.1:8081;
    keepalive 64; # 连接池保留的最大空闲长连接数
    keepalive_timeout 70s; # 空闲连接保持时间，小于Golang的IdleTimeout即可
    keepalive_requests 1000; # 单长连接最多可处理的请求数
  }
  server {
    # 原有server配置保留
    location / {
      proxy_pass http://go_backend;
      proxy_http_version 1.1; # 启用HTTP 1.1协议支持长连接
      proxy_set_header Connection ""; # 清除客户端传递的Connection头，避免禁用长连接
      # 其他原有location配置保留
    }
  }
}

排查Golang服务异常逻辑 #

给Golang服务添加全局panic捕获中间件，同时检查是否存在未读完请求体就直接返回响应的逻辑，Golang在HTTP请求体未完全读取的情况下关闭连接，也会触发NGINX侧Broken pipe报错。

校验内核参数 #

执行sysctl net.ipv4.tcp_tw_recycle检查是否开启，若值为1建议修改为0，NAT环境下该参数会导致大量连接被意外回收。同时检查net.core.somaxconn值是否不小于1024，避免连接队列溢出。

内容的提问来源于stack exchange，提问作者kanduken