Rails项目MongoDB单集合按年拆分方案、性能及备份问题咨询

1. 最优的拆分实现方案 #

推荐采用零停机的渐进式拆分方案，步骤如下：

• 第一步：新增双写逻辑
  先修改Rails应用的写入代码，所有新写入原集合的数据同时同步写入对应年份的新集合，提前在4个新集合创建和原集合完全一致的索引，避免后续查询性能下降。双写上线后运行1~3天，定时校验双写数据的一致性，确认没有遗漏或者字段不一致的问题。
• 第二步：历史数据迁移
  针对2018~2021的历史数据，使用MongoDB自带的聚合操作批量迁移，示例命令：

  // 迁移2018年数据，其余年份替换match条件和out目标集合即可
  db.原集合名.aggregate([
    {$match: {关联年份字段: 2018}},
    {$out: "新集合前缀_2018"}
  ])
  

  如果怕迁移占用过多线上IO影响业务，可以分批迁移，每次迁移1万条数据后暂停几百毫秒，迁移完成后全量校验历史数据和原集合的一致性。
• 第三步：流量切分与下线旧逻辑
  先将读请求按照年份路由到对应新集合，观察1~2周无异常后，停掉双写逻辑，删除原集合的历史数据即可。如果业务允许短时间停机，也可以停服后直接一次性迁移完成，步骤更简单。

2. 拆分操作能否提升查询速度 #

是否提速取决于你的业务查询场景：

• 能提速的场景：如果绝大多数查询都自带年份过滤条件，拆分后每个集合仅存20万左右的数据，索引体积更小、查询需要扫描的文档数更少，缓存命中率也会明显提升，查询速度会有30%~100%不等的提升。如果后续每年新增数据都会拆分新集合，还能避免单集合体积持续膨胀带来的性能下降。
• 不能提速甚至降速的场景：如果查询经常需要跨多年份聚合查询，拆分后需要查询多个集合再做数据合并，性能反而会低于原单集合加年份索引的方案。另外80万条属于MongoDB极易处理的量级，如果原查询慢是因为索引缺失导致的，优先补全索引即可，不需要拆分集合。

3. 指定集合备份规则设置 #

可以通过mongodump工具的集合过滤参数实现需求，也可以在云托管的MongoDB控制台配置规则：

• 自建MongoDB场景：先过滤出所有非拆分的集合，再加上你需要备份的指定拆分集合，拼成备份命令即可，示例脚本：

  # 替换为实际的MongoDB连接信息、集合前缀和需要备份的指定拆分集合名
  MONGO_URI="mongodb://用户名:密码@地址:端口/库名"
  TARGET_COL="拆分集合前缀_2019"
  COL_PARAMS="--collection ${TARGET_COL}"
  # 过滤出所有非拆分的集合，加入备份参数
  for col in $(mongo --uri "${MONGO_URI}" --eval "db.getCollectionNames().filter(c => !c.startsWith('拆分集合前缀_'))" --quiet); do
    COL_PARAMS="${COL_PARAMS} --collection ${col}"
  done
  # 执行备份
  mongodump --uri "${MONGO_URI}" ${COL_PARAMS} --out ./备份目录
  

  将上述脚本加入定时任务即可实现自动备份。
• 云托管MongoDB场景：直接在备份策略设置页面，配置「包含指定集合」规则，添加你需要备份的拆分集合和所有未拆分集合，或者配置「排除规则」排除另外3个不需要备份的拆分集合即可。

内容的提问来源于stack exchange，提问作者vekozlov