如何在100亿条记录的MongoDB中高效执行带优先级的$or查询

针对100亿文档的MongoDB集合，要实现带优先级的查询并控制响应在2秒内，核心问题是原$or查询会全量扫描多个分支并合并结果，百亿级数据下合并成本极高。以下是具体优化方案：

一、索引优化：创建针对性复合索引 #

单个字段索引无法高效支撑多条件组合查询，需为每个查询分支创建复合索引，让MongoDB能直接通过索引定位数据，避免全表扫描：

// 覆盖第1、3、4个查询分支（prefix等值+ latter前缀/等值 + number存在）
await data.createIndex({ prefix: 1, latter: 1, number: 1 });

// 覆盖第2个查询分支（latter等值 + prefix存在 + number存在）
await data.createIndex({ latter: 1, prefix: 1, number: 1 });

// 覆盖第5个查询分支（prefix等值 + number存在 + latter存在）
await data.createIndex({ prefix: 1, number: 1, latter: 1 });

注：MongoDB支持前缀正则（^xxx）使用索引，所以第3、4分支的regex查询能利用第一个复合索引。

二、查询逻辑优化：按优先级分批查询 #

放弃$or合并所有分支结果的方式，改为按优先级顺序逐个查询，凑够12条即停止，避免不必要的扫描和结果合并：

const prefixChar = 'A';
const latterword = 'XYZ';
const targetCount = 12;
let finalResults = [];

// 1. 最高优先级：prefix精准匹配 + latter精准匹配 + number存在
const batch1 = await data.find({
  prefix: prefixChar,
  number: { $exists: true },
  latter: latterword
}).limit(targetCount).toArray();
finalResults.push(...batch1);

// 2. 次优先级：prefix存在 + latter精准匹配 + number存在
if (finalResults.length < targetCount) {
  const remaining = targetCount - finalResults.length;
  const batch2 = await data.find({
    prefix: { $exists: true },
    number: { $exists: true },
    latter: latterword
  }).limit(remaining).toArray();
  finalResults.push(...batch2);
}

// 3. 第三优先级：prefix精准匹配 + latter前缀前两位匹配 + number存在
if (finalResults.length < targetCount) {
  const remaining = targetCount - finalResults.length;
  const batch3 = await data.find({
    prefix: prefixChar,
    number: { $exists: true },
    latter: { $regex: `^${latterword[0]}${latterword[1]}` }
  }).limit(remaining).toArray();
  finalResults.push(...batch3);
}

// 4. 第四优先级：prefix精准匹配 + latter前缀第一位匹配 + number存在
if (finalResults.length < targetCount) {
  const remaining = targetCount - finalResults.length;
  const batch4 = await data.find({
    prefix: prefixChar,
    number: { $exists: true },
    latter: { $regex: `^${latterword[0]}` }
  }).limit(remaining).toArray();
  finalResults.push(...batch4);
}

// 5. 最低优先级：prefix精准匹配 + number存在 + latter存在
if (finalResults.length < targetCount) {
  const remaining = targetCount - finalResults.length;
  const batch5 = await data.find({
    prefix: prefixChar,
    number: { $exists: true },
    latter: { $exists: true }
  }).limit(remaining).toArray();
  finalResults.push(...batch5);
}

// 最终返回不超过12条结果，符合优先级顺序
console.log(finalResults);

三、额外优化建议 #

• 分片集群优化：如果集合是分片部署的，将prefix作为分片键的一部分，让查询仅路由到对应prefix的分片，大幅减少扫描的数据量。
• 避免不必要的字段返回：使用projection只返回需要的字段，减少数据传输和序列化开销，比如.find(query, { _id: 0, field1: 1, field2: 1 })。
• 索引验证：用explain("executionStats")查看每个查询的执行计划，确认是否命中了创建的复合索引，避免索引失效。

内容的提问来源于stack exchange，提问作者Ashraf Chauhan