适配sourceId、probeId查询与原子插入的嵌套数据结构设计问题

最优数据结构选型 #

你当前使用的第一种结构是更适配需求的选择，第二种把probeId作为键名的结构直接放弃即可：第二种结构中probeId是动态键，无法创建索引实现高效查询，也不兼容MongoDB常规的数组子文档查询、更新算子，完全不符合你的需求。
第一种结构的优势非常匹配你的场景：

• 所有字段名固定，可灵活创建索引优化读写性能
• 完全适配MongoDB原生的数组操作能力，无需额外做字段解析适配
• 层级关系清晰，符合你sourceId -> probeId -> samples的组织要求

原子插入操作实现方案 #

你要的「probe不存在自动创建、存在则追加采样数据」的原子能力，直接用MongoDB 4.2+支持的聚合管道更新即可实现，单条更新操作本身就是原子的，无需额外事务支持，示例代码如下：

// 入参示例
const sourceIdVal = ObjectId("1");
const probeIdVal = ObjectId("3");
const newSample = {xxx: "新采样数据"};

db.collection.updateOne(
  { sourceId: sourceIdVal },
  [
    // 第一步：提取临时变量判断probe是否存在、拆分已有probe和目标probe
    {
      $set: {
        existingProbes: {
          $filter: {
            input: "$probes",
            cond: { $ne: ["$$this.probeId", probeIdVal] }
          }
        },
        targetProbe: {
          $ifNull: [
            { $first: { $filter: { input: "$probes", cond: { $eq: ["$$this.probeId", probeIdVal] } } } },
            { probeId: probeIdVal, meta: {}, samples: [] }
          ]
        }
      }
    },
    // 第二步：给目标probe追加采样数据、重构probes数组
    {
      $set: {
        "targetProbe.samples": { $concatArrays: ["$targetProbe.samples", [newSample]] },
        probes: { $concatArrays: ["$existingProbes", ["$targetProbe"]] }
      }
    },
    // 第三步：清理临时字段
    { $unset: ["existingProbes", "targetProbe"] }
  ],
  // 开启upsert，sourceId不存在时自动创建根文档
  { upsert: true }
)

该语句完全覆盖你的所有插入场景：

1. 对应sourceId不存在：自动创建根文档，同时生成probe子文档写入采样数据
2. sourceId存在、对应probeId不存在：自动追加新的probe子文档写入采样数据
3. sourceId和probeId都存在：仅给对应probe的samples追加数据，不会修改meta和原有采样数据

索引优化建议 #

针对你的读写场景创建两个索引即可满足性能要求：

• sourceId唯一索引：db.collection.createIndex({sourceId: 1}, {unique: true})，加速写入时的根文档匹配和查询时的sourceId过滤
• probeId数组索引：db.collection.createIndex({"probes.probeId": 1})，加速查询时的probe条件过滤

查询逻辑优化 #

你原有的聚合查询可以增加一层前置匹配，过滤掉完全没有目标probe的文档，减少后续数据处理量：

db.collection.aggregate([
  { $match: { sourceId: { $in: source_id_list } } },
  // 新增：提前过滤掉没有目标probe的文档
  { $match: { "probes.probeId": { $in: probe_id_list } } },
  {
    $project: {
      probes: {
        $filter: {
          input: "$probes",
          cond: { $in: ["$$this.probeId", probe_id_list] }
        }
      }
    }
  }
])

内容的提问来源于stack exchange，提问作者Tintin