运行在AWS ELB上的Node.js 16服务出现Nginx随机返回502错误问题

根因定位 #

你遇到的偶发502是典型的上下游空闲超时配置不匹配导致的连接竞态问题：
AWS ELB的空闲超时配置为60秒，意味着ELB会主动断开超过60秒没有流量的连接。但你当前Node.js服务的keepAliveTimeout配置为630秒，远大于ELB的超时阈值，就会出现ELB已经销毁了连接，但Node.js侧还认为该连接处于活跃可用状态。当有新请求通过ELB发往Node.js时，就会命中已经被ELB关闭的连接，触发502错误，这种情况在性能测试高并发场景下出现概率会明显提升。

排查步骤 #

• 首先查看Nginx错误日志，确认502错误的具体报错信息：
  • 如果存在upstream prematurely closed connection或者Connection reset by peer类的日志，即可确认是超时不匹配导致的问题
  • 如果报错为no live upstreams，则需要检查ELB的健康检查配置，确认是否是健康检查失败导致Node.js实例被ELB下线
  • 如果报错为connect timeout，则需要排查Node.js服务是否存在性能瓶颈导致无法及时响应请求
• 可以在Node.js服务侧抓包，统计是否有大量来自ELB的RST包，和502报错的时间点做对应验证
• 临时将ELB的空闲超时时间调整到大于Node.js的keepAliveTimeout，观察502错误是否消失，进一步验证根因

修复方案 #

1. 对齐上下游超时配置 #

核心原则：上游服务的keepAliveTimeout必须小于下游负载均衡的空闲超时时间，建议至少预留1-5秒的缓冲避免竞态，你可以选择任意一种适配方案：

方案一：调低Node.js侧超时参数（更推荐，改动量小）

保持ELB当前60秒的配置不变，调整Node.js的超时参数：

server.timeout = 600 * 1000; // 普通请求超时可保持原有配置
server.keepAliveTimeout = 55 * 1000; // 比ELB的60秒少5秒，主动提前断开空闲连接
server.headersTimeout = 58 * 1000; // 注意headersTimeout必须大于keepAliveTimeout，符合Node.js参数要求

方案二：调高ELB侧超时参数

如果业务需要更长的空闲连接保持时间，可以将AWS ELB的空闲超时时间调整到大于Node.js的keepAliveTimeout，例如调整为700秒，和你当前的Node.js配置对齐。

2. 额外优化建议 #

• 开启Nginx的upstream keepalive配置，优化连接复用的同时设置合理的超时，避免无效连接被复用
• 高并发场景下可以在Node.js侧添加空闲连接主动销毁逻辑，进一步降低连接竞态概率
• 修复完成后重新运行性能测试，调整不同并发数和请求间隔验证修复效果

内容的提问来源于stack exchange，提问作者João Melo