Mongo Spark Connector写入超时求助：MongoDB副本集群高峰优化建议

遇到高峰时段写入超时的问题确实闹心，尤其是加了节点还没缓解的情况，结合你用的技术栈，我整理了几个针对性的优化方向，你可以逐一排查试试：

1. 调优Spark写入的批量与并发参数 #

Spark写MongoDB的默认配置在大流量场景下可能不够高效，你可以尝试调整以下参数：

• 增大spark.mongodb.output.batchSize：默认值一般是1000，你可以根据单文档大小调整到5000-10000左右，减少请求次数。注意不要设置过大，避免单批数据量超过MongoDB的接收上限。
• 临时降低写关注级别：如果业务对强一致性要求没有那么高，高峰时段可以把spark.mongodb.output.writeConcern.w从majority改成1，只要求主节点确认写入即可，能显著减少等待时间。记得低峰时段改回原配置。
• 开启无序写入：设置spark.mongodb.output.ordered=false，允许Spark并行写入多个批次，不会因为单个批次的异常阻塞整个写入流程，提升并发效率。

2. 优化MongoDB副本集的写入瓶颈 #

加节点没解决问题，大概率是副本集的同步或写入机制有瓶颈：

• 检查secondary节点的同步延迟：用rs.status()命令查看各节点的optimeDate和lastHeartbeatRecv差值，如果secondary节点同步滞后严重，可能是磁盘IO、网络带宽不足导致的，优先排查硬件或网络问题。
• 调整写关注超时：如果必须用majority写关注，可以设置spark.mongodb.output.writeConcern.wtimeout为一个合理值（比如5000毫秒），避免无限等待节点确认导致超时。
• 清理冗余索引：写入时每个索引都会增加额外开销，高峰前可以临时禁用非业务必需的索引，低峰时段再重建。操作前记得备份，确保不影响查询业务。

3. Spark作业层面的性能优化 #

• 调整并行度匹配集群资源：确保Spark作业的分区数和MongoDB节点数适配，一般每个MongoDB节点对应2-4个Spark分区比较合适。可以用repartition()或coalesce()调整分区数，避免分区过多导致资源竞争，或过少导致负载不均。
• 合并小批次写入：如果你的Spark作业是分批生成小数据块，尽量合并成大批次后再写入MongoDB，减少连接建立和销毁的开销。
• 启用高效序列化：把Spark的序列化方式改成Kryo，比默认的Java序列化更高效，能减少数据传输的大小和时间。可以在Spark配置中添加spark.serializer=org.apache.spark.serializer.KryoSerializer。

4. 排查Connector版本兼容性 #

虽然你用的是Mongo Connector 2.2.1，建议确认下这个版本和你的MongoDB服务器版本、Spark 2.2.1的兼容性。有些旧版本的Connector可能存在性能bug，比如批量写入的锁竞争问题，如果业务允许，可以尝试升级到兼容的新版本（比如2.3.x系列，注意提前测试兼容性）。

5. 高峰时段流量管控 #

• 引入消息队列削峰：用Kafka之类的消息队列缓冲高峰写入请求，Spark从队列中消费数据异步写入MongoDB，避免直接把流量压到数据库集群上。
• 错开非核心任务：把非实时的写入任务（比如数据统计、备份）安排在低峰时段执行，减少高峰时的集群负载。

内容的提问来源于stack exchange，提问作者Smit