TypeORM的skip()和take()函数为何失效？MySQL大表场景求助

你的代码逻辑错误的核心原因是：TypeORM的getCount()方法会忽略skip()和take()的分页设置，它的作用是统计当前查询条件下的总行数，而非分页后的记录数。所以不管你怎么调整batchSize和batchIndex，每次返回的total都是整个Delivery表的总记录数，导致循环永远无法终止，且累加结果完全错误。

修正方案（分两种场景） #

场景1：单纯统计表的总记录数（你当前代码的意图） #

直接一次调用getCount()即可，无需循环分页，这是最高效的方式：

async adminDeliveriesViewCount(data) {
  try {
    const totalDeliveries = await Delivery.createQueryBuilder().getCount();
    return totalDeliveries;
  } catch (e) {
    new ErrorHandler(e, 'adminDeliveriesViewCount');
  }
}

场景2：分批处理数据（如果你的真实需求是遍历/操作所有记录） #

如果你的代码实际是想分批处理400万条数据（而非单纯统计），应该用getMany()获取分页数据，通过判断返回数组的长度来终止循环，同时建议调大batchSize减少数据库查询次数：

async processDeliveriesInBatches(data) {
  try {
    const batchSize = 1000; // 针对百万级数据，建议设置1000-5000的批次大小
    let batchIndex = 0;
    while (true) {
      const batchDeliveries = await Delivery.createQueryBuilder()
        .skip(batchIndex * batchSize)
        .take(batchSize)
        .getMany();

      if (batchDeliveries.length === 0) break;

      // 在这里执行当前批次的业务操作，比如更新、导出等
      // 示例：await Promise.all(batchDeliveries.map(item => item.save()));

      batchIndex++;
    }
    return '所有数据处理完成';
  } catch (e) {
    new ErrorHandler(e, 'processDeliveriesInBatches');
  }
}

补充说明 #

• 对于MySQL中的大表（400万条），直接getCount()可能会有短暂性能消耗，你可以考虑给表添加合适的索引，或者使用SELECT COUNT(*) FROM delivery原生SQL（TypeORM中可以用query()方法执行），性能差异不大。
• 分批处理数据时，避免设置过小的batchSize（比如你原来的10），否则会产生40万次数据库查询，严重拖慢处理速度。

内容的提问来源于stack exchange，提问作者Top Dev