Ruby on Rails中如何高效统计MongoDB海量数据记录数至PostgreSQL

1. 由Phoenix微服务同步维护计数 #

既然MongoDB的所有数据都来自Phoenix微服务，最直接高效的方式是在数据写入/删除MongoDB的同时，同步更新PostgreSQL中的计数值：

• 每次Phoenix服务向MongoDB插入新记录时，执行PostgreSQL的UPDATE语句将对应计数列+1；
• 每次删除MongoDB记录时，将计数列-1；
• 用数据库事务包裹MongoDB操作与PostgreSQL计数更新，确保两者原子性，避免数据不一致。
  这个方案完全避免了对MongoDB的计数查询，资源占用极低，且计数实时准确。

2. 利用MongoDB变更流（Change Streams）监听增量更新 #

如果无法修改Phoenix微服务代码，可以通过MongoDB的变更流功能，监听集合的增删事件，异步更新PostgreSQL计数：

• 在Rails应用中启动一个后台进程（或用Sidekiq等任务队列），通过MongoDB Ruby驱动监听目标集合的变更流；
• 当捕获到insert事件时，PostgreSQL计数+1；捕获到delete事件时，计数-1；
• 这种方式只处理增量数据，无需全量扫描MongoDB集合，资源消耗远低于定时全量计数任务。

3. 优化定时计数任务的查询逻辑 #

如果必须保留定时任务模式，可通过优化MongoDB计数查询来降低资源占用：

• 替换countDocuments()为estimatedDocumentCount()：前者会扫描集合内所有文档，后者直接读取集合的元数据统计，速度提升数倍，资源占用大幅降低；
• 示例MongoDB命令：db.target_collection.estimatedDocumentCount()；
• 可根据业务容忍度拉长定时间隔（如30分钟/1小时），并将任务放在后台异步执行，避免阻塞Rails主进程。

4. 引入缓存层做中间缓冲 #

结合缓存层（如Redis）平衡实时性与资源消耗：

• 用Redis存储当前计数，Rails优先从Redis读取；
• 定时用estimatedDocumentCount()更新Redis中的值，同时同步到PostgreSQL做持久化；
• 若需要更高实时性，可搭配变更流，在有增量变更时直接更新Redis，定时任务仅做兜底校准。

内容的提问来源于stack exchange，提问作者KJ66