MongoDB每秒万次写入性能下降，Go Cron多库场景优化方案咨询

一、使用Transactions能否改善卡顿？ #

不能，甚至可能加剧性能问题。MongoDB的多文档事务（尤其是跨数据库的事务）会带来额外的锁开销、事务日志写入和协调成本。你的场景是针对17000个独立数据库并发写入，每个商户的操作本身大概率不需要跨库事务，强行引入事务会让每个写入操作的延迟升高，进一步拖慢MongoDB和Cron的运行效率。只有当你需要保证多个操作的原子性时才适合用事务，单纯为了优化性能用事务完全是南辕北辙。

二、可实施的MongoDB性能优化方案 #

1. 调整数据库架构，合并商户数据 #

17000个独立数据库会极大增加MongoDB的元数据管理开销，每个数据库都有独立的命名空间、索引集合和锁资源。建议改为单数据库+按商户ID分片的集合，或者单集合内用商户ID作为过滤条件。这样能减少MongoDB的资源消耗，同时批量操作可以更高效地聚合。

2. 优化写入策略 #

• 加大批量插入的粒度：尽量将同一商户的多次单条插入合并为批量插入（bulkWrite），减少网络往返和MongoDB的写入请求处理次数。
• 控制并发写入的数量：当前每秒1万次跨库并发写入，会导致MongoDB上下文切换过于频繁。可以在Golang代码中用带缓冲通道或限流组件（如golang.org/x/time/rate）限制并发goroutine数量，比如控制在200-500，避免MongoDB资源被打满。
• 调整写入确认级别：如果业务允许，将写入的WriteConcern调整为w: 1（默认）甚至更低（如w: 0，不等待确认），减少等待MongoDB返回确认的时间。注意权衡数据安全性。

3. 优化MongoDB配置 #

• 内存分配调整：128GB内存的服务器，建议将wiredTigerCacheSizeGB设置为物理内存的50%-60%（比如64GB），让MongoDB有足够缓存存储热数据和索引，降低磁盘IO频率。
• 磁盘IO优化：SSD环境下将IO调度改为noop或deadline；机械硬盘开启预读，提升磁盘写入效率。
• WiredTiger参数调优：设置journalCompressor为snappy或zstd压缩事务日志；配置collectionConfig.blockCompressor为合适的压缩算法，减少数据存储体积和写入量。

4. 索引优化 #

• 清理冗余索引：每个索引都会增加写入开销，检查所有集合的索引，删除不常用的索引。
• 避免高频写入字段建索引：如果某些字段仅用于查询但写入频繁，考虑用定期物化视图等方式替代索引。

5. 横向扩展与读写分离 #

• 读写分离：将查询流量分流到从节点，主节点仅处理写入请求，减轻主节点负载。
• 分片集群部署：若单节点无法承载写入压力，按商户ID对集合分片，将写入负载分散到多个分片节点。

6. 代码层面优化 #

• 复用连接池：确保Golang代码复用MongoDB连接池（驱动默认维护），设置合适的maxPoolSize（比如200-500），避免频繁创建销毁连接。
• 异步写入解耦：如果业务允许，将写入操作放入消息队列（如Kafka），Cron任务快速提交任务后即可继续处理，由专门的消费者进程异步写入MongoDB，避免Cron被IO阻塞。

内容的提问来源于stack exchange，提问作者Rohit