Databricks写入ElasticSearch报scala/Product$class缺失错误求助

错误根源 #

这个错误是Scala版本不兼容导致的：

• 你使用的elasticsearch-spark-20_2.11:7.17.11基于Scala 2.11编译，但spark-xml_2.12:0.15.0是Scala 2.12版本，同时scala-reflect:2.13.11是Scala 2.13版本，三者版本不统一，导致JVM找不到对应的Scala类。
• 另外，Elasticsearch 6.1.3和elasticsearch-spark 7.17.11跨大版本（6.x vs 7.x），也存在潜在兼容性问题。

具体修复步骤 #

1. 统一Scala版本依赖
   • 先确认Databricks集群的Scala版本（可通过集群页面查看，或运行scala.util.Properties.versionNumberString获取），假设集群使用Scala 2.12：
     • 替换elasticsearch-spark依赖为Scala 2.12版本：org.elasticsearch:elasticsearch-spark-20_2.12:6.8.23（选择与ES 6.x匹配的最新兼容版本）
     • 替换scala-reflect为对应Scala版本：org.scala-lang:scala-reflect:2.12.17（必须与集群Scala版本完全一致）
2. 适配Elasticsearch 6.x配置
   • ES 6.x中es.resource可简化为{index}（默认类型为_doc），也可保留{index}/_doc
   • 若ES开启SSL，确认es.net.ssl设为true，自签名证书环境需额外添加.option("es.net.ssl.cert.allow.self.signed", "true")
3. 清理冲突依赖
   • 移除原有不兼容的JAR包，只保留调整后的版本，避免依赖冲突

调整后的示例代码 #

df.write.format("org.elasticsearch.spark.sql") \
.option("es.nodes", hostname) \
.option("es.net.ssl", ssl) \
.option("es.resource", f"{index}") \
.option("es.mapping.id", "id") \
.option("es.nodes.wan.only", "true") \
.mode("overwrite") \
.save()
print("complete")

内容的提问来源于stack exchange，提问作者user1398291