1.8TB数据集Spark写入MongoDB报OutOfMemoryError问题求助

针对1.8TB数据集写入MongoDB出现OOM但写入S3正常的情况，核心原因是MongoDB Spark Connector的默认写入机制和S3分布式文件写入的内存占用逻辑不同：S3写入是每个分区独立序列化到文件，内存压力分散；而MongoDB写入需要在Executor端将分区数据批量打包后发送，默认配置下容易因批次过大、分区数据量过高导致内存溢出。以下是具体解决方案：

1. 调整MongoDB写入批次参数 #

通过限制每个写入批次的文档数量，减少单批次内存占用：

mongo_format = "com.mongodb.spark.sql.DefaultSource"
db_url = config.get("collections").get(collection)
dataframe.write.format(mongo_format) \
    .mode("append") \
    .option("uri", db_url) \
    .option("batchSize", "500")  # 根据内存情况调整，建议范围100-1000
    .option("maxBatchSize", "1000")  # 控制单批次最大文档数
    .save()

2. 优化Spark Executor内存配置 #

增大Executor堆内存及堆外内存，为批量写入预留足够空间：
提交Spark任务时添加参数：

--executor-memory 16G \
--executor-memoryOverhead 4G \
--driver-memory 8G

• executor-memory：根据集群资源和数据量调整Executor堆内存大小
• executor-memoryOverhead：堆外内存，MongoDB Connector部分操作会依赖堆外内存，避免OOM

3. 拆分DataFrame分区，减小单分区数据量 #

将大分区拆分为多个小分区，降低每个Executor处理的数据量：

# 根据集群Executor数量和数据量调整分区数，建议范围200-500
repartitioned_df = dataframe.repartition(300)
repartitioned_df.write.format(mongo_format) \
    .mode("append") \
    .option("uri", db_url) \
    .save()

4. 关闭写入阶段的自动索引构建 #

如果MongoDB集合在写入时自动创建索引，会额外消耗内存。建议写入前提前创建好索引，或临时关闭自动索引：

dataframe.write.format(mongo_format) \
    .mode("append") \
    .option("uri", db_url) \
    .option("autoIndex", "false")  # 关闭写入时自动创建索引
    .save()

写入完成后再手动创建所需索引，避免写入过程中索引构建占用内存。

5. 检查Connector版本兼容性 #

确保MongoDB Spark Connector版本与Spark、MongoDB版本匹配：

• Spark 3.x 对应 mongodb-spark-connector_2.12:10.2.x 及以上版本
• 版本不兼容可能导致内存泄漏或低效内存使用，建议使用官方推荐的兼容版本

内容的提问来源于stack exchange，提问作者Deepak Poojari