Databricks中用Apache Spark Scala写入MongoDB未生成指定索引求助

核心误解澄清 #

spark.mongodb.idFieldList参数的作用是将DataFrame中的指定字段映射为MongoDB文档的_id字段，而非自动为该字段创建额外索引。MongoDB仅会默认给_id字段创建唯一索引，若你需要基于documentNumber的独立索引，需手动创建。

排查与解决步骤 #

1. 检查参数名称与Connector版本匹配性

   • 不同版本的MongoDB Spark Connector参数名称有差异：
     • 10.0及以上版本：使用spark.mongodb.idFieldList（支持单个/多个字段，单个字段直接写"documentNumber"即可，多字段用逗号分隔）；
     • 低于10.0版本：单个字段需用spark.mongodb.output.idField，多个字段用spark.mongodb.output.idFieldList。
   • 若你当前代码的参数与Connector版本不匹配，会导致参数失效，Spark仍自动生成ObjectId作为_id，自然看不到基于documentNumber的索引。

2. 验证写入后的文档结构
   连接MongoDB查看missions集合的文档：

   • 若_id字段值是documentNumber（如12345678），说明参数生效，此时默认的_id唯一索引就等价于documentNumber的唯一索引；
   • 若_id仍是自动生成的ObjectId，说明参数配置错误，需根据Connector版本修正参数名称。

3. 手动创建索引（按需）
   若你需要在documentNumber字段（而非_id）上创建独立索引，可执行MongoDB命令：

   db.missions.createIndex({ documentNumber: 1 })
   

修正代码示例 #

如果使用的是低于10.0版本的Connector，代码应改为：

processedMissions
.write
.format("mongo")
.option("uri", mongoDbUri)
.option("collection", "missions")
.option("spark.mongodb.output.idField", "documentNumber")
.mode("overwrite")
.save()

内容的提问来源于stack exchange，提问作者chavalife17