Node+Apollo Server高负载下出现连接超时500错误的排查求助

1. 优先检查Node.js的TCP连接池与系统资源限制 #

• 文件描述符限制：Node.js每个TCP连接对应一个文件描述符，系统默认的ulimit -n（通常为1024）在高负载下极易耗尽。执行ulimit -n查看当前值，若过低需调整系统配置（比如在/etc/security/limits.conf中设置* soft nofile 65535），同时启动Node时确保文件描述符上限生效。
• HTTP Agent配置：Apollo Server底层依赖Node的http.Agent，默认maxSockets（单域名并发连接数）仅为5，高负载下连接池会快速耗尽，导致新请求无法建立连接。需手动调整Agent配置：

  import { ApolloServer } from '@apollo/server';
  import { createServer, Agent } from 'http';
  import { expressMiddleware } from '@apollo/server/express4';
  import express from 'express';
  
  const httpAgent = new Agent({
    keepAlive: true, // 启用长连接，减少重复建立连接的开销
    maxSockets: 100, // 根据实际负载调整
    maxTotalSockets: 500,
  });
  
  const app = express();
  const httpServer = createServer(app);
  // 将自定义Agent传入底层HTTP服务器或Apollo相关配置
  

2. 排查请求队列与内核连接限制 #

• HTTP服务器backlog参数：Node的server.listen()默认backlog为511，即内核允许等待Node处理的待连接队列长度。高负载下队列溢出会导致内核直接拒绝新连接，表现为连接超时。启动时增大backlog：

  httpServer.listen({ port: 4000, backlog: 2048 }, () => { 
    console.log('Apollo Server running');
  });
  

• Apollo Server连接控制：检查是否启用了stopOnTerminationSignals等可能影响连接处理的配置，或是否存在自定义的连接限流逻辑（比如第三方中间件）。

3. 排查DNS解析瓶颈 #

高负载下重复DNS查询可能导致解析超时，进而引发连接失败：

• 启用Node的DNS缓存：通过dns.setDefaultResultOrder('ipv4first')优先使用IPv4，或借助dns-cache等模块缓存DNS结果，减少重复查询次数。
• 检查DNS服务器响应速度，切换到更稳定的内部DNS服务器。

4. 验证服务器资源瓶颈 #

• CPU使用率：用top或htop查看Node进程CPU占比，若持续100%，Node的Event Loop无法及时处理新连接事件，内核会直接丢弃连接。需排查是否存在同步阻塞代码（比如解析大JSON、复杂计算），或启用cluster模块利用多核CPU。
• 内存与网络：用free -h检查内存是否耗尽（OOM会导致进程异常），iftop查看网络带宽是否饱和，高带宽占用会导致连接握手延迟。

5. 排查前置中间件/插件问题 #

请求未进入解析器链，需重点检查Apollo Server之前的中间件（比如认证、日志、限流）：

• 检查中间件是否存在同步阻塞逻辑，或依赖的外部服务（比如Redis、数据库）在高负载下连接池耗尽，导致中间件提前返回错误。
• 临时禁用非必要中间件，重新压测验证是否还出现错误，逐步定位问题点。

6. 测试与验证工具 #

• 用wrk或ab进行压测，同时用clinic.js bubbleprof分析Node的Event Loop延迟、活跃连接数等核心指标。
• 直接测试底层HTTP服务器（跳过Apollo），编写简单的Express接口进行压测，若同样出现连接失败，说明问题出在Node的HTTP层而非Apollo本身。

内容的提问来源于stack exchange，提问作者jhm