K8s部署Go REST服务偶发超时及内存异常问题排查求助

一、超时问题定位与复现 #

定位方向 #

1. 空闲长连接阻塞goroutine
   从goroutine追踪结果看，大量goroutine卡在net.(*conn).Read，说明服务端持续等待客户端发送请求，但客户端可能保持HTTP长连接却无后续请求，或客户端异常断开后TCP连接未被回收。这种情况下，服务端连接goroutine长期阻塞，新请求可能因连接池耗尽、处理资源不足触发超时。
2. CPU限流导致调度延迟
   虽然当前crictl stats显示CPU使用率仅1.06%，但K8s配置的CPU限制为200m（即0.2核），若服务突发请求时CPU使用率超过限制，会被kubelet限流（CPU throttling），导致请求处理延迟，最终触发超时。可通过kubectl top pod或监控container_cpu_cfs_throttled_seconds_total指标确认是否存在限流。
3. TCP连接参数未优化
   Go默认HTTP服务的长连接超时无限制，若客户端不主动关闭连接，服务端会一直持有连接；同时TCP keepalive参数未正确配置，会导致无效连接无法及时回收。

复现方法 #

• 模拟空闲长连接场景：用curl建立长连接后保持不关闭，观察服务是否出现超时：

  curl -H "Connection: keep-alive" http://your-service-endpoint &
  

• 模拟CPU过载场景：在容器内运行CPU密集型任务，同时发送请求查看响应情况：

  # 容器内执行占用CPU的命令
  yes > /dev/null &
  # 用压测工具（如wrk）发送请求
  wrk -t4 -c100 -d30s http://your-service-endpoint
  

二、内存占用异常解决 #

crictl stats显示的容器内存是进程的RSS（驻留集大小），包含Go堆内存、goroutine栈内存、进程二进制文件/共享库、GC元数据等多部分，而pprof统计的仅为堆内存，因此两者数据存在差异。

优化方向 #

1. 回收空闲连接减少栈内存占用
   配置HTTP服务的连接超时参数，及时回收空闲连接，减少goroutine数量及对应栈内存：

   srv := &http.Server{
       Addr:           ":8080",
       ReadTimeout:    5 * time.Second,  // 读取请求超时
       WriteTimeout:   10 * time.Second, // 响应写入超时
       IdleTimeout:    15 * time.Second, // 空闲连接超时
       MaxHeaderBytes: 1 << 20,
   }
   

2. 优化Go运行时参数
   • 启用GC主动内存回收：设置环境变量GODEBUG=gcscavenge=1（Go 1.19+），让GC更积极回收未使用内存。
   • 控制goroutine数量：通过连接池限制并发连接数，避免大量goroutine占用过多栈内存。
3. 排查非堆内存占用
   • 用go tool pprof分析goroutine栈总大小：

     go tool pprof http://your-service/debug/pprof/goroutine?debug=2
     

   • 查看进程内存映射：在容器内执行pmap -x <进程PID>，分析二进制文件、共享库等区域的内存占用，选择更精简的基础镜像减少这部分开销。
4. 容器资源配置优化
   配置K8s内存请求和限制时，预留足够缓冲区（比如实际堆内存的2-3倍），避免因非堆内存占用触发OOM。

内容的提问来源于stack exchange，提问作者feanikes