使用PySpark写入MongoDB集合时索引被删除，如何在Spark端规避

两种模式下索引丢失的核心原因是MongoDB Spark连接器的默认写策略会触发集合删除操作：

• overwrite模式默认会直接删除整个目标集合后重建，集合删除时索引会同步被清除
• append模式下如果开启了自动Schema推断，或者写入数据的结构、字段类型和现有集合不匹配，连接器也会自动删除原集合重建，导致索引丢失

Spark端可落地的规避方案 #

1. overwrite模式配置修改

将overwrite模式的默认写策略从「删除集合重建」改为「替换文档」，保留原集合和索引，修改后代码如下：

df.write.format("com.mongodb.spark.sql.DefaultSource").mode("overwrite").option(
    "uri", input_uri
).option("overwriteMode", "replaceDocuments")\
.option("collection.dropIfInvalid", "false")\
.save()

如果业务需要全量覆盖集合内的所有文档，也可以提前在Spark侧完成全量数据校验，将写模式改为append配合replaceDocument=true参数，实现相同_id的文档覆盖写入，全程不会触发集合删除。

2. append模式配置修改

关闭自动Schema推断，禁止连接器因为结构不匹配删除原有集合，修改后代码如下：

df.write.format("com.mongodb.spark.sql.DefaultSource").mode("append").option(
    "uri", input_uri
).option("schema.infer", "false")\
.option("collection.dropIfInvalid", "false")\
.save()

注意事项 #

• 以上参数适配2.4及以上版本的MongoDB Spark连接器，部分3.0+版本的参数可以添加spark.mongodb.write.前缀使用，如spark.mongodb.write.overwriteMode
• 建议提前在MongoDB端创建好目标集合和对应索引后再执行Spark写任务，从根源避免集合自动重建的风险

内容的提问来源于stack exchange，提问作者Shadma Siddiqui