MongoDB中HashMap值部分的索引创建与查询方法咨询

一、索引创建方案 #

你的selectedSmsVendorMap是动态键的Map结构（MongoDB中以嵌入式文档存储），且70%的文档该字段为null/空，结合服务商数量少的特点，推荐两种索引方案：

1. 通配符+部分索引（无需修改文档结构） #

针对Map中所有值创建通配符索引，同时通过部分索引过滤掉无有效数据的文档，大幅降低索引体积：

// 创建索引
db.yourCollection.createIndex(
  {"selectedSmsVendorMap.$**": 1},
  {
    partialFilterExpression: {
      selectedSmsVendorMap: {$exists: true, $ne: {}} // 仅包含非空的Map字段
    },
    background: true // 后台创建，不阻塞数亿级集合的业务操作
  }
)

• selectedSmsVendorMap.$**：匹配该字段下所有嵌套的键值对，索引所有服务商名称的值
• partialFilterExpression：只对存在且非空的selectedSmsVendorMap文档建索引，直接减少70%的无效索引条目
• background: true：数亿级集合创建索引必须后台执行，避免长时间锁库

2. 数组字段索引（性能更优，需修改文档结构） #

如果业务允许调整文档结构，建议新增一个存储服务商值的数组字段（比如selectedSmsVendorValues），将selectedSmsVendorMap的所有值提取到该数组中，示例文档结构：

{
  "selectedSmsVendorMap": {"1234567890": "sms-vendor-1", "0987654321": "sms-vendor-2"},
  "selectedSmsVendorValues": ["sms-vendor-1", "sms-vendor-2"],
  "createTime": ISODate("2024-01-01T12:00:00Z")
}

然后创建数组索引+部分索引：

db.yourCollection.createIndex(
  {"selectedSmsVendorValues": 1},
  {
    partialFilterExpression: {
      selectedSmsVendorValues: {$exists: true, $ne: []}
    },
    background: true
  }
)

这种方案查询性能远高于通配符索引，因为数组索引是直接匹配值，无需运行时转换Map结构。

二、查询与统计方法 #

1. 基于原Map字段的查询（无需修改结构） #

使用$expr结合$objectToArray将Map转为键值对数组，再检查是否包含目标服务商：

// 查询指定时间范围内包含sms-vendor-1的文档
db.yourCollection.find({
  createTime: {
    $gte: ISODate("2024-01-01T00:00:00Z"),
    $lte: ISODate("2024-01-31T23:59:59Z")
  },
  $expr: {
    $in: [
      "sms-vendor-1",
      {$map: {
        input: {$objectToArray: "$selectedSmsVendorMap"},
        as: "item",
        in: "$$item.v" // 提取Map中的服务商值
      }}
    ]
  }
})

2. 基于数组字段的查询（性能最优） #

如果已新增数组字段，查询会更简洁高效：

// 查询指定时间范围内包含sms-vendor-1的文档
db.yourCollection.find({
  createTime: {
    $gte: ISODate("2024-01-01T00:00:00Z"),
    $lte: ISODate("2024-01-31T23:59:59Z")
  },
  selectedSmsVendorValues: "sms-vendor-1"
})

3. 统计操作 #

基础计数

// 统计指定时间范围内sms-vendor-1的文档数
db.yourCollection.countDocuments({
  createTime: {
    $gte: ISODate("2024-01-01T00:00:00Z"),
    $lte: ISODate("2024-01-31T23:59:59Z")
  },
  // 对应上述两种查询条件之一
  $expr: {
    $in: [
      "sms-vendor-1",
      {$map: {
        input: {$objectToArray: "$selectedSmsVendorMap"},
        as: "item",
        in: "$$item.v"
      }}
    ]
  }
})

按维度分组统计（比如按日期）

db.yourCollection.aggregate([
  {$match: {
    createTime: {
      $gte: ISODate("2024-01-01T00:00:00Z"),
      $lte: ISODate("2024-01-31T23:59:59Z")
    },
    // 对应查询条件
    selectedSmsVendorValues: "sms-vendor-1"
  }},
  {$group: {
    _id: {$dateToString: {format: "%Y-%m-%d", date: "$createTime"}},
    total: {$sum: 1}
  }},
  {$sort: {_id: 1}}
])

三、关键注意事项 #

• 数亿级集合创建索引必须加background: true，避免长时间锁表影响业务
• 部分索引是核心，能过滤70%的无效文档，大幅减少索引存储和查询开销
• 如果业务允许，优先选择新增数组字段的方案，查询性能会比通配符索引高一个数量级
• 由于服务商数量不足5个，无需担心数组字段的重复存储问题，存储开销可忽略

内容的提问来源于stack exchange，提问作者Anurator