Node.js超市价格监控项目中MongoDB集合的设计选型疑问
针对当前价格监控场景的MongoDB集合设计方案
核心结论
完全不要为单个商品创建独立集合,采用统一的聚合式集合设计是唯一适配你当前规模的方案。
为什么不要拆分单商品集合
- MongoDB的集合是同类实体的聚合存储单元,单实例下维持数千、上万个集合会带来极高的元数据维护开销,会直接拖慢实例的查询、备份、恢复效率,完全违背MongoDB的设计逻辑。
- 拆分单集合后,后续需要做跨商品的价格统计(比如全品类比价、周期内价格涨幅排名、变价率统计)时,需要遍历数千上万个独立集合执行聚合查询,性能损耗会达到无法接受的水平,业务代码的维护成本也会急剧升高。
适配场景的最小化集合设计
结合你的业务规模(2万商品、每周最多单次变价、仅部分商品触发变动),只需要两个职责清晰的集合即可:
product_base集合:存储几乎不会变动的商品静态基础信息,以及最近一次的商品价格快照- 单条文档结构可以参考:
{ id: 37982, name: "carrots", link: "/product/carrots", last_price: 7, last_update_time: ISODate("2020-12-13T00:00:00Z") } - 2万条数据的总体积不到10MB,日常做采集比对时甚至可以全量加载到内存做匹配,完全无性能压力。
- 单条文档结构可以参考:
price_change_log集合:仅存储触发了价格变动的记录,不做冗余信息存储- 单条文档结构可以参考:
{ product_id: 37982, old_price: 6.5, new_price: 7, change_time: ISODate("2020-12-13T00:00:00Z") } - 按你的变价频率估算,就算所有商品每周都触发一次变价,全年的日志量也不到110万条,MongoDB单节点就能轻松承载,完全不需要做分片、分库这类复杂架构。
- 单条文档结构可以参考:
配套的日常监控实现逻辑
- 每日执行全量价格采集时,将采集到的实时价格和
product_base中存储的last_price做比对,只有数值不一致时才触发写操作:往price_change_log插入一条变动日志,同时更新product_base里的last_price字段为最新值。 - 给两个集合配置必要的索引:
product_base给id建唯一索引,保证商品数据不重复;price_change_log分别给product_id、change_time建普通索引,满足单商品历史价格查询、按时间范围拉取周期内变价数据的需求即可。
内容的提问来源于stack exchange,提问作者Kasper Hansen
相关产品推荐
相关产品推荐

