AWS VPC内Node.js Lambda偶发REST调用60s超时排查

核心现象锚定 #

从现有埋点看，超时请求仅记录到socket分配事件，无后续connect、error等事件触发，请求未到达后端服务，问题仅在高负载下偶发，优先从以下方向排查：

根因排查方向 #

• 连接复用异常
  核查埋点中socket.reusedSocket字段的占比：Node.js HTTP模块默认开启长连接复用，如果热启动环境下缓存的socket已被NAT网关、负载均衡、后端服务静默回收（无四次挥手包），新请求会被直接分配到已失效的死连接上，此时不会触发新的TCP握手，也不会抛出即时错误，会一直等待直到超时。
• TCP连接资源耗尽
  统计两个维度的资源指标：
  1. Lambda运行ENI的临时端口占用：VPC模式下Lambda依赖弹性网卡发起网络请求，热启动环境下如果连接未正常释放，高并发下会耗尽ENI可用临时端口，新请求分配socket后无法发起握手，卡在connecting状态。
  2. 私有子网NAT网关的端口分配指标：私有子网访问公网/跨VPC资源走NAT网关时，单个EIP仅支持55000个并发连接，高负载下如果连接回收不及时会触发端口耗尽，NAT直接丢弃SYN握手包，客户端侧无任何响应直到超时。重点核查NAT网关的PortAllocationError、PacketsDropCount指标是否在故障时段突增。
• 事件循环阻塞
  由于环境支持用户运行自定义JS脚本，如果客户脚本存在长耗时同步逻辑（大循环、超大JSON序列化/反序列化、低效正则匹配、同步文件操作等），会阻塞Node.js事件循环，导致网络IO回调、connect事件处理函数无法进入执行栈，表现为请求发出后无任何事件回调触发，直到定时器到点触发超时。
• 埋点逻辑漏报
  现有埋点的connect事件监听仅在socket分配后绑定，如果请求复用的是已经完成连接的热socket，connect事件在绑定监听前就已经触发，永远不会打印连接成功日志，会造成“socket没有发起连接”的误判。
• DNS解析超时
  现有埋点未覆盖DNS解析阶段，VPC默认DNS在高负载下如果出现解析丢包，会导致请求卡在DNS查询阶段，部分Node.js版本会先触发socket事件再等待DNS结果，同样不会出现connect事件日志。

可落地修复方案 #

1. 先快速验证连接问题
   临时关闭HTTP长连接复用，发起请求时配置agent: new http.Agent({ keepAlive: false })，观察超时问题是否消失。如果问题缓解，说明根因和连接复用/端口耗尽相关，后续可调整长连接配置：开启keepAlive时设置freeSocketTimeout: 10000，自动回收空闲超过10秒的连接，避免复用死连接；同时配置maxSockets参数限制单个执行环境的最大并发连接数，避免端口耗尽。
2. 补全分阶段超时机制
   不要仅依赖整体60秒请求超时，拆分各阶段超时阈值：
   • DNS解析超时设置为3秒，失败立刻重试
   • TCP握手超时设置为10秒，socket分配后如果10秒内未触发connect事件，直接销毁socket终止请求，快速失败，避免无效等待60秒
3. 修正埋点逻辑
   socket事件触发后首先判断socket.connecting属性：如果值为false说明是复用的已建立连接，直接打印连接成功日志，不需要等待connect事件；如果值为true再监听connect事件，避免误判连接状态。
4. 增加事件循环监控
   在沙箱初始化阶段加入事件循环延迟检测：每100ms记录时间戳差值，一旦检测到延迟超过1s就打印错误日志，关联对应执行的用户脚本，定位阻塞源，必要时对用户脚本的同步执行时长做硬限制。
5. 扩容NAT网关容量
   如果核查到NAT网关存在端口耗尽、丢包指标突增，给NAT网关绑定额外EIP扩展端口池，同时升级NAT网关带宽规格，避免高负载下资源瓶颈。
6. 优化DNS配置
   在Lambda运行环境内开启DNS缓存，配置dns.setDefaultResultOrder('ipv4first')避免IPv6解析失败导致的无效等待。

内容的提问来源于stack exchange，提问作者Marc Moldovan