GAE Flex运行Node.js出现间歇性502与Connection reset by peer报错

• Node.js服务与nginx的keepalive配置不匹配：这是该场景下最高发的原因。GAE Flex内置的nginx反向代理默认会复用与上游Node服务的TCP连接，如果nginx配置的upstream连接存活时长大于Node.js服务默认的server.keepAliveTimeout（Node v19以下默认是5s，v19+默认是75s），nginx尝试复用已经被Node主动关闭的连接时，就会收到Node返回的RST包，触发Connection reset by peer错误，请求不会进入Node的业务逻辑层。高负载下连接复用频率更高，因此故障出现概率明显上升。
• Node.js监听队列溢出：Node.js服务启动时默认的TCP监听队列长度（backlog参数）为511，高负载下短时间涌入的并发连接超过队列上限时，Linux内核会直接返回RST包拒绝连接，请求不会被递送到Node.js应用层，你可以通过执行ss -lnt | grep :8080查看监听队列的Send-Q值，若该值长期等于队列上限即可确认该问题。
• TCP内核参数适配问题：GAE Flex运行在虚拟化NAT网络环境下，如果实例内核开启了tcp_tw_recycle、tcp_timestamps参数，高负载下TIME_WAIT状态的连接快速回收时会误判同NAT出口的不同客户端连接，主动丢弃合法连接并返回RST包，触发该错误。
• nginx upstream连接池配置不足：如果GAE内置nginx的upstream连接池大小设置过小，高负载下连接争抢严重，nginx频繁主动销毁重建连接，过程中也容易出现连接重置的情况。
• Node.js进程异常重启前置断连：若Node.js进程存在偶发的未捕获异常、监控未采集到的瞬时内存尖峰触发OOM killer杀死进程等情况，进程重启前会主动断开所有已建立的TCP连接，此时nginx正在转发的请求就会收到RST包，部分场景下请求还未送到业务层就被中断。

内容的提问来源于stack exchange，提问作者David Ewen