Airflow中如何并行加速MongoDB Atlas的mongoimport数据导入速度

Write IOPS指存储设备每秒可处理的写入操作次数，是MongoDB Atlas集群写入性能的核心配额指标。每次数据写入、索引更新、元数据修改都会占用Write IOPS，当实际写入请求达到配额上限时，Atlas会对写入请求做限流，这就是并行插入也无法提速的核心原因之一。

不需要更换为pymongo实现，mongoimport原生支持多并发写入，比自行实现的pymongo并行方案性能更高，且不需要全量加载JSON到内存：

• 低成本改造方案：直接在现有mongoimport命令中添加--numInsertionWorkers <N>参数，N为并发写入worker数，0.5vCPU的集群可以先从4开始测试，逐步调整到最优值，该参数可以直接提升单条mongoimport命令的吞吐。
• Airflow任务拆分方案：如果要做多文件并行导入，可将100个JSON文件拆分为多个独立的BashOperator任务，调整DAG的concurrency参数控制同时运行的导入任务数。注意该方案下需要移除除第一个导入任务外的--drop参数，避免重复清空集合。

你当前批量目录导入比单文件导入慢，核心原因是cat合并文件产生了额外的本地IO开销，且单进程mongoimport处理流数据的效率低于直接读取单文件，添加并发参数即可解决该问题。

你可以优先通过Atlas自带的监控面板定位瓶颈，无需先升级集群：

1. 首先查看导入时间段的Write IOPS使用率，如果使用率持续达到集群规格上限，则瓶颈为集群IOPS配额
2. 如果IOPS未打满，查看集群vCPU使用率，0.5vCPU规格本身处理能力有限，导入过程中同时处理数据写入和索引构建很容易占满vCPU
3. 若以上两个指标都未达到上限，排查Airflow执行节点和Atlas集群是否在同一GCP区域，跨区域网络延迟会大幅降低导入速度

无需升级集群的优化手段 #

以下优化通常可以将导入速度提升2-3倍：

• 导入前临时删除目标集合的非必要索引，导入完成后再重建，索引写入会占用超过50%的写入IOPS和CPU资源
• 给mongoimport添加--batchSize <Size>参数，将默认1000的批量插入大小调整到5000~10000，减少网络往返开销
• 全量重刷数据的场景下，可以在Mongo连接URI中添加w=0的写关注参数，关闭写入确认，进一步提升写入速度

如果以上优化全部落地后，导入时Write IOPS依然持续打满，再考虑升级更高IOPS的集群规格。

内容的提问来源于stack exchange，提问作者Canovice