MongoDB多日志集合动态筛选查询的性能最优方案咨询

核心思路：统一查询抽象 + 聚合框架$unionWith（MongoDB 4.4+） #

针对你多集合结构相似但存在字段差异的场景，用$unionWith实现数据库层面的多集合结果合并，同时通过抽象函数封装通用逻辑，彻底避免重复代码。

步骤1：封装统一查询函数 #

先把动态集合筛选、通用条件过滤、分页排序等逻辑封装成通用函数，新增日志类型只需扩展配置，无需修改查询逻辑。

实现代码 #

// 定义日志类型与Mongoose模型的映射关系
const logModelMap = {
  inv: InventoryLog,
  trunk: TrunkLog
  // 后续新增日志类型直接在这里追加即可
};

/**
 * 通用日志查询函数
 * @param {Array} targetTypes - 要查询的日志类型数组，如['inv', 'trunk']
 * @param {Object} commonFilters - 通用查询条件，如{ 'user.name': '玩家A', timestamp: { $gte: 1690000000 } }
 * @param {Object} specificFilters - 集合专属过滤条件，键为集合名，值为对应条件
 * @param {Object} pageOptions - 分页排序配置，如{ sort: { timestamp: -1 }, limit: 20, skip: 0 }
 * @returns {Promise} 合并后的查询结果数组
 */
async function fetchLogs(targetTypes, commonFilters = {}, specificFilters = {}, pageOptions = {}) {
  // 校验传入的日志类型合法性
  const validModels = targetTypes.map(type => {
    const model = logModelMap[type];
    if (!model) throw new Error(`无效日志类型：${type}`);
    return model;
  });

  if (validModels.length === 0) return [];

  // 构建聚合管道，第一个集合作为基础，其余用$unionWith追加
  let aggregationPipeline = [];
  validModels.forEach((model, index) => {
    const collName = model.collection.collectionName;
    // 合并通用条件与当前集合的专属条件
    const queryFilters = { ...commonFilters, ...specificFilters[collName] };
    
    const collPipeline = [
      { $match: queryFilters },
      // 新增logType字段，标记结果来源集合
      { $addFields: { logType: collName } }
    ];

    if (index === 0) {
      aggregationPipeline = [...collPipeline];
    } else {
      aggregationPipeline.push({
        $unionWith: {
          coll: collName,
          pipeline: collPipeline
        }
      });
    }
  });

  // 添加排序、分页逻辑
  if (pageOptions.sort) aggregationPipeline.push({ $sort: pageOptions.sort });
  if (pageOptions.skip !== undefined) aggregationPipeline.push({ $skip: pageOptions.skip });
  if (pageOptions.limit !== undefined) aggregationPipeline.push({ $limit: pageOptions.limit });

  // 执行聚合查询（用第一个模型发起请求即可，$unionWith会跨集合执行）
  return validModels[0].aggregate(aggregationPipeline);
}

步骤2：调用示例 #

场景1：查询指定类型的通用条件日志 #

比如查询inv和trunk类型中，用户名为player001的最新20条日志：

async function example1() {
  try {
    const logs = await fetchLogs(
      ['inv', 'trunk'],
      { 'user.name': 'player001' },
      {},
      { sort: { timestamp: -1 }, limit: 20 }
    );
    console.log(logs);
  } catch (err) {
    console.error('查询失败:', err);
  }
}
example1();

场景2：包含集合专属字段过滤 #

比如查询inv日志中接收者为player002、trunk日志中车牌为XYZ789，且操作为take的日志：

async function example2() {
  try {
    const logs = await fetchLogs(
      ['inv', 'trunk'],
      { action: 'take' }, // 通用条件
      {
        'logs': { 'receiver.name': 'player002' }, // inv日志对应集合名是logs
        'logs_trunk': { 'vehicle.plate': 'XYZ789' } // trunk日志对应集合名是logs_trunk
      },
      { sort: { timestamp: -1 }, limit: 10 }
    );
    console.log(logs);
  } catch (err) {
    console.error('查询失败:', err);
  }
}
example2();

步骤3：性能优化关键 #

1. 索引配置：给所有日志集合的通用查询字段添加复合索引，确保$match条件能命中索引：

   // 在Schema定义时添加索引
   invLogSchema.index({ 'user.name': 1, timestamp: -1, action: 1 });
   trunkLogSchema.index({ 'user.name': 1, timestamp: -1, action: 1 });
   // 专属字段也可按需加索引，比如trunk的vehicle.plate
   trunkLogSchema.index({ 'vehicle.plate': 1 });
   

2. 避免全表扫描：确保查询条件尽量过滤掉无效数据，不要在聚合后期才做大量过滤。
3. 版本兼容：$unionWith是MongoDB 4.4版本新增特性，若当前版本低于此，建议升级；无法升级的话，只能在客户端合并多个集合的查询结果，但性能会大幅下降（不推荐）。

方案优势 #

1. 代码复用性：新增日志类型只需在logModelMap中添加映射，无需修改查询核心逻辑。
2. 性能高效：数据库层面合并结果，减少网络请求次数，且能充分利用索引优化查询速度。
3. 灵活性强：同时支持通用条件过滤、集合专属字段过滤，完全覆盖你的需求场景。

内容的提问来源于stack exchange，提问作者iCodeTits