MongoDB时序数据增量文档安全插入及查询适配方案咨询

最优方案推荐 #

推荐优先选择 普通集合+唯一复合索引+无序批量插入 的组合，在你原有方案1的基础上做两处优化即可，完全满足数据库侧强制去重、无需预查询、支持高效时间切片查询的需求：

1. 先做Schema微调

把原有数组类型的metadata改为对象类型，避免数组索引的匹配逻辑异常（数组字段的顺序、元素数量不同都会导致唯一索引匹配失败），同时提升查询效率：

// 调整后的文档结构示例
{
   "metadata": {"instrumentId": 5578, "FX": "USD"},
   "timestamp": ISODate("2021-05-18T00:00:00.000Z"),
   "price": 12.5
}

创建唯一复合索引，数据库侧自动拦截重复数据：

db.stocks.createIndex({"metadata.instrumentId":1,"timestamp":1},{"unique":true})

2. 无需倒序插入，改用无序批量写入

不需要手动倒序文档，直接调用insert_many时设置ordered=False，遇到重复数据抛出的DuplicateKeyError不会中断其他新数据的写入，同时文档按时间正序插入，_id顺序和timestamp顺序天然一致，无需每次查询都强制排序。
Python 示例代码：

from pymongo.errors import BulkWriteError

try:
    # documents按timestamp正序排列即可
    db.stocks.insert_many(documents, ordered=False)
except BulkWriteError as e:
    # 可自行过滤重复数据的报错，其他异常正常抛出
    duplicate_errors = [err for err in e.details['writeErrors'] if err['code'] == 11000]
    if len(duplicate_errors) != len(e.details['writeErrors']):
        raise e

3. 若必须使用时序集合的替代方案

如果需要用到时序集合的自动分区、降采样等原生特性，可以采用「批次范围预查+内存去重」的折中方案，耗时远低于全量预查询：

• 每次写入前先对当前批次的文档按instrumentId+timestamp去重
• 提取当前批次的时间范围[min_ts, max_ts]，查询该时间范围内对应instrumentId的所有已有时间戳
• 内存中过滤掉已经存在的时间戳对应的数据，只写入新增数据
  时序集合对时间范围查询做了原生优化，单批次时间范围控制在1天内的话，查询耗时基本在毫秒级，不会成为性能瓶颈。

方案对比 #

内容的提问来源于stack exchange，提问作者C. Claudio