Node.js应用MySQL报错Packets out of order排查求助

环境与配置 #

• 3个运行在PM2中的Node.js Express应用，各自使用独立数据库，其中两个会同时崩溃
• 所有应用均使用MySQL连接池，每个池的connectionLimit设为50，连接池配置如下：

this.dbPool = mysql.createPool({
host: "localhost",
user: "apiuser",
password: "*********",
database: "*********",
debug: false,
connectionLimit: 50,
supportBigNumbers: true,
bigNumberStrings: true,
charset : 'utf8mb4'
})

• 依赖版本：mysql: "^2.18.1"
• MySQL版本：mysql Ver 8.0.30-0ubuntu0.20.04.2 for Linux on x86_64 (Ubuntu)

错误现象 #

错误并非由特定查询或事件触发，而是应用长时间闲置8-10小时后崩溃，错误栈信息：

Error: Packets out of order. Got: 0 Expected: 2
at Parser._tryReadPacketHeader (/home/apis/node_modules/mysql/lib/protocol/Parser.js:470:15)
at Parser.write (/home/apis/node_modules/mysql/lib/protocol/Parser.js:33:29)
at Protocol.write (/home/apis/node_modules/mysql/lib/protocol/Protocol.js:38:16)
at Socket. (/home/apis/node_modules/mysql/lib/Connection.js:88:28)
at Socket. (/home/apis/node_modules/mysql/lib/Connection.js:526:10)
at Socket.emit (node:events:520:28)
at addChunk (node:internal/streams/readable:315:12)
at readableAddChunk (node:internal/streams/readable:289:9)
at Socket.Readable.push (node:internal/streams/readable:228:10)
at TCP.onStreamRead (node:internal/stream_base_commons:190:23) {
code: 'PROTOCOL_PACKETS_OUT_OF_ORDER',
fatal: true
}

已尝试的无效修复 #

修改mysql.cnf并重启服务，通过SHOW VARIABLES LIKE ...确认参数已生效，但问题未解决：

• max_connections=1024
• max_allowed_packet=500M
• group_concat_max_len=50000

排查与修复建议 #

1. 连接池闲置超时匹配问题 #

MySQL默认的wait_timeout和interactive_timeout为8小时（28800秒），刚好和你遇到的闲置时间窗口吻合。当MySQL主动关闭闲置连接后，Node.js客户端仍认为连接可用，使用失效连接时就会触发数据包顺序错误。

• 解决方案：在连接池配置中添加连接保活与错误重试相关参数：

this.dbPool = mysql.createPool({
  // 原有配置...
  keepAlive: true,
  keepAliveInitialDelay: 30000, // 30秒后开始发送保活包
  waitForConnections: true,
  queueLimit: 0
})

• 可选方案：调整MySQL的wait_timeout和interactive_timeout至10小时（36000秒），但更推荐让客户端主动维护连接，避免无效占用MySQL连接资源。

2. 客户端与数据库版本兼容性 #

mysql@2.18.1是较旧的版本，和MySQL 8.0.30可能存在协议层面的兼容性问题。

• 解决方案：升级mysql包到2.x分支的最新稳定版，或直接迁移到mysql2库（mysql2是原mysql库的现代分支，对MySQL 8.0支持更完善，性能也更优）。

3. 缺失连接池错误处理 #

应用未捕获连接池的致命错误，导致单个连接失效时直接引发应用崩溃。

• 解决方案：给连接池添加错误监听，捕获并处理失效连接：

this.dbPool.on('error', (err) => {
  console.error('数据库连接池错误:', err);
  // 针对致命连接错误，让连接池自动销毁并重建连接
  if (err.fatal) {
    console.warn('销毁失效的数据库连接');
  }
});

同时确保所有数据库查询都添加错误捕获逻辑，避免未处理的错误导致应用崩溃。

4. 系统TCP连接配置问题 #

即使是本地连接，操作系统的TCP keepalive配置不合理也可能导致连接被主动关闭。

• 解决方案：检查系统的net.ipv4.tcp_keepalive_time参数（默认7200秒），可缩短至3600秒，让操作系统主动检测并回收失效连接。

内容的提问来源于stack exchange，提问作者Sercan Samet Savran