Sequelize PostgreSQL左连接分页出现重复行问题求助

这个问题我之前处理过好几次，核心原因很明确：当你用LEFT JOIN关联hasMany类型的子表时，主表的单条记录会因为子表的多条关联数据被“展开”成多行，而你设置的offset和limit是直接作用在这个展开后的大结果集上，不是主表的原始记录数上。举个实际场景：如果一个Service关联了3张ServicePicture，那它在JOIN后的结果里会变成3行。假设你limit设为5，前一页的最后两行刚好是这个Service的其中两条图片记录，那下一页的第一行就会是这个Service的第三条图片记录——看起来就像是主表的这条记录重复出现在了下一页的开头。

下面给你两种最常用的解决方案，结合你的代码来修改：

方案1：先分页主表，再关联子表（推荐，逻辑清晰） #

思路是先基于主表Service完成分页，拿到分页后的主表ID列表，再根据这些ID去查询关联的子表数据。这样分页是严格基于主表的记录数，不会出现子表展开导致的重复问题。

修改后的代码如下：

models.Service.findAndCountAll({
  attributes: ['ServiceID'], // 只需要主表主键，减少数据传输
  where: whereClause,
  offset: startRowIndex,
  limit: recordCount,
  order: [['ServiceID', 'ASC']] // 必须加稳定排序！否则分页顺序可能随机
})
.then(({ rows }) => {
  // 提取分页后的主表ID
  const serviceIds = rows.map(row => row.ServiceID);
  
  // 根据ID查询完整的关联数据
  return models.Service.findAll({
    attributes: attributes,
    where: { ServiceID: serviceIds },
    include: {
      model: models.ServicePicture,
      attributes: ['ServicePictureID', 'ServicePicturePath'],
      where: { IsDeleted: false },
      required: false
    },
    order: [['ServiceID', 'ASC']] // 和之前的排序保持一致，保证顺序正确
  });
})
.then(serviceModels => {
  resolve(serviceModels);
})
.catch(err => {
  reject(err);
});

方案2：使用GROUP BY + 聚合函数（一次查询完成） #

如果你希望用一次查询解决，可以通过GROUP BY主表的主键，让主表的每条记录只返回一行，同时用聚合函数把子表的多条数据合并成数组。这种方式需要处理聚合后的结果，但不需要两次查询。

修改后的代码示例：

models.Service.findAll({
  attributes: [
    ...attributes,
    // 用array_agg聚合子表的图片路径和ID，PostgreSQL支持这个函数
    [models.sequelize.fn('array_agg', models.sequelize.col('ServicePicture.ServicePicturePath')), 'picturePaths'],
    [models.sequelize.fn('array_agg', models.sequelize.col('ServicePicture.ServicePictureID')), 'pictureIds']
  ],
  where: whereClause,
  include: {
    model: models.ServicePicture,
    attributes: [], // 不需要单独返回子表字段，用聚合函数统一处理
    where: { IsDeleted: false },
    required: false
  },
  group: ['Service.ServiceID'], // 按主表主键分组，确保每条主表记录只出现一次
  subQuery: false,
  offset: startRowIndex,
  limit: recordCount,
  order: [['ServiceID', 'ASC']] // 同样必须加稳定排序
})
.then(serviceModels => {
  // 处理聚合结果：如果没有图片，array_agg会返回[null]，需要过滤掉
  serviceModels.forEach(service => {
    service.dataValues.picturePaths = service.dataValues.picturePaths.filter(path => path !== null);
    service.dataValues.pictureIds = service.dataValues.pictureIds.filter(id => id !== null);
  });
  resolve(serviceModels);
});

关键注意点 #

无论用哪种方案，一定要指定稳定的排序规则（比如按ServiceID升序/降序）。如果没有设置order，PostgreSQL的返回顺序是不确定的（依赖数据库的存储和查询优化），可能导致前后页的记录顺序混乱，甚至出现重复或遗漏的情况。

内容的提问来源于stack exchange，提问作者Pegah Ahmadvand