Spark MongoDB Connector实现单属性Upsert的方案问询

我来结合实际使用经验帮你解答这两个问题：

1. 是否存在配置项实现期望的字段追加行为？ #

没有直接让append模式自动变成字段追加的配置，但我们可以通过切换到update模式并搭配特定配置来实现你想要的效果。

默认的append模式本质是执行「替换操作」——当DataFrame的_id与Mongo文档匹配时，会用DataFrame里的完整文档覆盖原文档，导致原有字段丢失。要实现仅追加指定字段、保留原文档其他属性的upsert，你需要做以下调整：

df
  .write
  .format("com.mongodb.spark.sql.DefaultSource")
  .mode("update")
  .option("spark.mongodb.output.uri", "mongodb://mongo_server:27017/testdb.test_collection")
  .option("spark.mongodb.output.updateDocument", "true") // 启用字段级更新而非全文档替换
  .option("spark.mongodb.output.upsert", "true") // 匹配不到_id时插入新文档
  .save()

这段代码会让Connector对匹配_id的文档执行MongoDB的$set操作：只更新DataFrame中存在的val字段，保留原文档的age、foo等属性；对于_id不存在的记录（比如_id:2），则直接插入新文档，完全符合你的预期结果。

2. 先读取Mongo文档再写回的IO特性是什么？ #

这种方案属于全量加载+全量替换，并非智能的字段追加操作，具体IO流程如下：

• 读取阶段：会把Mongo集合中的所有文档全量加载到Spark DataFrame中，不管你是否只需要用到部分文档；
• 处理阶段：你需要将读取到的Mongo DataFrame和原df通过_id关联，整合出包含所有字段的新DataFrame；
• 写回阶段：如果使用mode("overwrite")，会先清空原有集合的所有文档，再写入整合后的全量文档；如果用mode("append")，则会因_id冲突触发替换，本质还是全文档覆盖。

这种方式的IO成本非常高，当集合数据量较大时，全量读写会占用大量网络和存储资源，远不如直接使用update模式高效。

内容的提问来源于stack exchange，提问作者mLC