使用mysql2的TypeScript项目查询仅返回25000行的问题求助

问题背景 #

在TypeScript项目中使用mysql2/promise连接池执行查询时，结果最多仅返回25000行，但实际数据库中存在更多数据。已验证Node.js数组本身可容纳更多元素（拼接新元素后数组长度变为25001），因此确定是配置层面的限制导致。

解决方案 #

1. 检查MySQL服务器的max_allowed_packet配置 #

这个参数控制MySQL服务器允许的单条数据包最大大小，当查询结果体积超过该值时会被截断。

• 查看当前配置：

  SHOW VARIABLES LIKE 'max_allowed_packet';
  

• 如果值偏小，修改MySQL配置文件（my.cnf/my.ini）：

  max_allowed_packet=256M
  

  修改后重启MySQL服务，也可以临时生效（需管理员权限）：

  SET GLOBAL max_allowed_packet=268435456; -- 对应256M字节数
  

2. 排查mysql2连接池的全局限制 #

初始化连接池时，可能不小心设置了全局查询限制。检查你的连接池创建代码，确保没有类似limit的全局参数：

const pool = mysql.createPool({
  host: '你的数据库地址',
  user: '用户名',
  password: '密码',
  database: '库名',
  // 确认没有设置全局的limit或rows参数
});

3. 改用流式查询处理大数据量 #

如果数据量确实很大，推荐用mysql2的流式查询，既能避免一次性加载所有数据到内存，也能绕开可能的默认行数限制。示例代码：

public static async testSql(dbName: string, sql: string, xlsxFileName: string = '.xlsx'): Promise<void> {
  logger.debug(sql);
  const db = await (p.pools[dbName] as Pool).getConnection();
  
  // 开启流式查询
  const [result] = await db.query(sql, [], { stream: true });
  const records: RecordLayout[] = [];

  result.on('data', (row) => {
    records.push(row as RecordLayout);
  });

  result.on('end', () => {
    console.log(`实际获取记录数：${records.length}`);
    // 在这里处理完整的数据集
    db.release();
  });

  result.on('error', (err) => {
    console.error('查询出错:', err);
    db.release();
  });
}

4. 检查SQL语句是否有隐性限制 #

确认你的SQL语句里没手动加LIMIT 25000，也没有使用的中间件/ORM自动给查询加了分页限制。

内容的提问来源于stack exchange，提问作者Janka