MongoDB Partial Index与OR表达式配合失效问题排查

问题背景 #

我有一个MongoDB集合reviews，文档包含对应字段。尝试创建带过滤表达式的**部分索引（Partial Index）**来优化特定过滤场景的查询，索引创建命令如下：

db.reviews.createIndex(
  {
    catalog_id: 1,
    product_id: 1,
    score: -1,
    created_at: -1
  },
  {
    name: "reviews_only_fetch_by_catalog_product",
    partialFilterExpression: {
      $or: [
        { comments: { $exists: true } },
        { images: { $exists: true } },
        { videos: { $exists: true } }
      ]
    }
  }
)

问题现象 #

执行以下查询时，预期会使用上述部分索引（查询的过滤表达式是索引过滤条件的子集），但explain()执行计划显示实际走了COLLSCAN（全表扫描），并未命中索引：

{
  $and: [
    {
      catalog_id: '100'
    },
    {
      $or: [
        {
          comments: {
            $exists: true
          }
        },
        {
          images: {
            $exists: true
          }
        },
        {
          videos: {
            $exists: true
          }
        }
      ]
    }
  ]
}

而以下单个分支的查询却能正常利用该部分索引：

{
  catalog_id: '100',
  comments: {
    $exists: true
  }
}

MongoDB版本：6.0.4

原因分析 #

MongoDB的部分索引在匹配过滤条件时，对$or表达式的处理存在限制：

• 当部分索引的partialFilterExpression包含$or时，查询的过滤条件需要完全匹配索引过滤表达式中的某一个具体分支，而非匹配整个$or组合逻辑。
• 原查询的$and嵌套$or结构，查询优化器无法将其与索引的$or过滤条件直接关联，因为优化器无法确认查询的$or是否覆盖了索引过滤条件的分支（即便逻辑上一致），因此不会选择该部分索引。
• 单个分支的查询正好完全匹配索引过滤条件中的某一条规则，同时catalog_id是索引的前缀字段，因此可以被优化器识别并命中索引。

解决方法 #

方法一：拆分查询合并结果 #

将原$or的三个分支拆分为三个独立查询，分别执行后合并结果。每个独立查询都会命中部分索引：

// 查询1
const res1 = db.reviews.find({catalog_id: '100', comments: {$exists: true}}).toArray()
// 查询2
const res2 = db.reviews.find({catalog_id: '100', images: {$exists: true}}).toArray()
// 查询3
const res3 = db.reviews.find({catalog_id: '100', videos: {$exists: true}}).toArray()
// 合并结果（需自行去重）
const finalRes = [...new Set([...res1, ...res2, ...res3])]

方法二：新增计算字段重构索引 #

新增一个计算字段标记文档是否满足comments/images/videos任一存在的条件，基于该字段创建部分索引：

1. 批量更新文档新增标记字段：

db.reviews.updateMany(
  {},
  [
    {$set: {
      has_media_or_comments: {
        $or: [
          {$exists: "$comments"},
          {$exists: "$images"},
          {$exists: "$videos"}
        ]
      }
    }}
  ]
)

2. 重新创建部分索引：

db.reviews.createIndex(
  {catalog_id: 1, product_id: 1, score: -1, created_at: -1},
  {
    name: "reviews_only_fetch_by_catalog_product",
    partialFilterExpression: {has_media_or_comments: true}
  }
)

3. 修改原查询为匹配标记字段：

{
  catalog_id: '100',
  has_media_or_comments: true
}

此查询可正常命中重构后的部分索引。

内容的提问来源于stack exchange，提问作者shriyog