CentOS环境Node.js v8.15.0+Sequelize v4.38.0连接Azure SQL间歇性报错如何排查
Azure托管CentOS服务器Node.js服务连接Azure SQL间歇性异常问题
我们生产环境中由Azure托管的CentOS API服务器,使用Node.js v8.15.0搭配Sequelize v4.38.0连接Azure SQL数据库时,存在间歇性连接异常问题。
当前使用的Sequelize连接配置如下:
const sequelize = new Sequelize(dbDatabase, dbUser, dbPassword, { host: dbHost, dialect: 'mssql', operatorsAliases: false, pool: { max: 5092, min: 0, acquire: 10000, idle: 10000, evict: 500, }, dialectOptions: { encrypt: false, // Use this if you're on Windows Azure requestTimeout: 60000 * 2, }, }
我们已将该Node.js进程的打开文件数限制(ulimit)设置为系统最大值,目前使用PM2进行服务进程管理。
日志中约每10-20分钟就会随机出现以下两类错误之一:
SequelizeConnectionError at Connection.connection.on (/home/AZ-admin/XXX/node_modules/sequelize/lib/dialects/mssql/connection-manager.js:75:16) at emitNone (events.js:106:13) at Connection.emit (events.js:208:7) at Connection.cleanupConnection (/home/AZ-admin/XXX/node_modules/tedious/lib/connection.js:568:16) at Connection.enter (/home/AZ-admin/XXX/node_modules/tedious/lib/connection.js:1961:12) at Connection.transitionTo (/home/AZ-admin/XXX/node_modules/tedious/lib/connection.js:993:26) at Connection.socketEnd (/home/AZ-admin/XXX/node_modules/tedious/lib/connection.js:1036:12) at Socket.<anonymous> (/home/AZ-admin/XXX/node_modules/tedious/lib/connection.js:877:18) at emitNone (events.js:111:20) at Socket.emit (events.js:208:7) at endReadableNT (_stream_readable.js:1064:12) at _combinedTickCallback (internal/process/next_tick.js:139:11) at process._tickCallback (internal/process/next_tick.js:181:9)
或
SequelizeHostNotFoundError: Failed to connect to xxx-prod.database.windows.net:1433 - getaddrinfo ENOTFOUND xxx-prod.database.windows.net at Connection.connection.on.err (/home/XXX/node_modules/sequelize/lib/dialects/mssql/connection-manager.js:98:22) at emitOne (events.js:116:13) at Connection.emit (events.js:211:7) at Connection.socketError (/home/XXX/node_modules/tedious/lib/connection.js:1016:14) at /home/XXX/node_modules/tedious/lib/connection.js:861:25 at GetAddrInfoReqWrap.callback (/home/XXX/node_modules/tedious/lib/connector.js:69:18) at GetAddrInfoReqWrap.onlookupall [as oncomplete] (dns.js:79:17)
初步观测:问题与业务流量上涨存在一定关联,但相关性尚不明确,初步推测可能成因包括:
- 连接或文件句柄打开后未正常释放达到上限
- DNS域名解析存在异常
排查与解决方案
连接池配置修正
当前pool.max设置为5092完全不符合生产场景实际需求:
- Azure SQL单实例的最大连接数受性能层级限制,通常中高规格实例的最大用户连接数也仅为数千级别,单服务开启5000+连接会直接触发Azure侧的连接限流,导致连接被服务端强制断开,对应第一类socket端关闭的连接错误
- 过高的连接数会在连接重建时触发大量瞬时DNS解析请求,被宿主机系统限流后直接触发第二类
ENOTFOUND解析错误 - 调整规则:将
pool.max设置为服务实际峰值并发的1.5倍,常规Node.js API服务对应Azure SQL的连接池最大设置为50-100即可;将pool.min设置为5-10,避免空闲时连接全部释放后短时间内集中重建大量连接
驱动保活参数配置
当前配置缺少TCP保活参数,Azure网络网关会静默清理长时间无流量的空闲连接(通常空闲4分钟左右就会被网关断开),但本地连接池仍保留该失效连接,取到坏连接就会触发socket异常:
- 在
dialectOptions中追加保活与连接超时配置,同时修正加密开关(Azure SQL必须开启加密,原配置设为false不符合平台安全要求):
dialectOptions: { encrypt: true, requestTimeout: 60000 * 2, connectTimeout: 30000, options: { keepAlive: true, keepAliveInitialDelayMillis: 10000, } }
DNS解析异常处理
- 临时处置:在服务器
/etc/hosts文件中固定Azure SQL域名对应的解析IP,跳过系统DNS解析流程,直接消除ENOTFOUND报错的触发路径 - 长期排查:检查宿主机DNS配置,优先使用Azure托管VM自动分配的内部解析服务,避免使用公共DNS导致解析请求被系统限流
连接泄漏验证
- 虽然已将ulimit调整至系统最大值,仍需通过
lsof -p <node进程PID> | grep tcp | wc -l实时观测进程打开的TCP连接数:如果业务低峰期连接数仍持续上涨,说明存在连接未正常释放的问题,需排查业务代码中是否存在未等待数据库查询完成就中断流程的逻辑 - 结合服务日志的报错时间点,交叉对比Azure SQL侧的连接计数指标,确认触发报错的连接是否为服务端主动断开
内容的提问来源于stack exchange,提问作者user3345225
相关产品推荐
相关产品推荐

