如何降低MongoDB并行插入数据的耗时？

一、MongoDB服务端配置优化 #

• 调整WiredTiger日志策略：修改mongod.conf中的journal配置，将commitIntervalMs从默认100ms增大至500ms，减少频繁刷盘带来的IO开销。批量插入场景下，该调整不会显著影响数据安全性：

  storage:
    wiredTiger:
      journal:
        commitIntervalMs: 500
  

• 预分配集合存储空间：提前创建1000个目标集合时，通过CreateCollectionOptions指定size参数（匹配预估的集合最终大小），避免插入过程中频繁扩展数据文件，减少IO阻塞。
• 优化连接并发参数：将MongoDB的maxConns（默认1000）调整为20-30，匹配2核CPU的处理能力，避免过多连接导致上下文切换开销。
• 升级磁盘性能：将Azure虚拟机磁盘替换为高级SSD或Ultra Disk，提升IOPS和吞吐量——批量插入的核心瓶颈往往是磁盘写入，而非CPU。

二、客户端代码优化 #

• 复用MongoClient实例：MongoClient是线程安全的，应在进程启动时创建全局单例，而非每次插入都新建连接。同时在连接字符串中设置合理的连接池大小：

  string connectionString = "mongodb://localhost:27017/?maxPoolSize=20&minPoolSize=5";
  

• 调整批量插入批次大小：当前20000条/批的规模过大，单批次插入会占用大量资源导致并行进程阻塞。建议将批次大小调整为5000-10000条，让多个进程的插入任务交替执行，降低资源竞争。
• 改用异步插入API：将同步的InsertMany替换为InsertManyAsync，结合await实现非阻塞插入，让客户端进程在等待MongoDB响应时继续读取CSV数据，提升CPU利用率：

  await collection.InsertManyAsync(data, option);
  

• 分离读写逻辑：采用生产者-消费者模式，一个线程负责读取CSV并生成BsonDocument存入队列，另一个线程异步执行插入操作，实现IO密集型（读取CSV）和CPU密集型（文档转换、插入）任务的并行。
• 提前创建所有集合：批量预创建1000个目标集合，而非每次插入前检查并创建，减少元数据操作开销。

三、系统资源调度优化 #

• 改用单进程多线程模式：虚拟机仅2核CPU，双进程已接近资源上限，建议在单进程内用Task.WhenAll并行处理队列消息，减少进程间的资源竞争和上下文切换开销。
• 设置CPU亲和性：将MongoDB进程和客户端进程绑定到不同CPU核心（Windows通过任务管理器、Linux通过taskset命令），避免核心争抢，提升并行执行效率。
• 释放闲置资源：关闭虚拟机上非必要的后台服务，确保MongoDB和客户端进程获得足够的CPU、内存配额。

四、诊断验证 #

• 启用MongoDB慢查询日志，记录插入操作的执行时间和等待时间，定位具体瓶颈（如锁等待、IO等待）：

  systemLog:
    destination: file
    path: /var/log/mongodb/mongod.log
    logAppend: true
    slowOpThresholdMs: 100
    verbose: true
  

• 使用Azure Monitor监控虚拟机的CPU、磁盘IO、内存使用率，确认是否存在资源饱和情况。

内容的提问来源于stack exchange，提问作者Weanich Sanchol