EMR Spark升级至3.1.2后写入AWS Open Search遇Scala类缺失错误

核心问题分析 #

出现java.lang.NoClassDefFoundError: scala/Product$class的本质是依赖版本不兼容：

• 升级EMR后，Spark 3.1.2（基于Scala 2.12）与你使用的elasticsearch-spark jar版本不匹配，高版本elasticsearch-spark（如8.11.2）是为ES 8.x设计，无法适配OpenSearch 6.7的协议与API；
• 外部jar中的Scala依赖与EMR集群自带的Scala库产生冲突，导致类加载异常。

具体解决方案 #

1. 使用OpenSearch官方兼容的Spark连接器 #

AWS OpenSearch提供了适配不同Spark版本的官方连接器，针对Spark 3.x + OpenSearch 6.7，选择opensearch-spark-30_2.12-1.0.0.jar（该版本适配OpenSearch 6.x/7.x与Spark 3.x，且基于Scala 2.12编译）。

2. 排除冲突依赖 #

提交Spark任务时，显式排除外部jar中可能与EMR自带Scala/Spark冲突的依赖，确保使用集群内置的Scala类库：

spark-submit \
  --class your.main.class \
  --jars opensearch-spark-30_2.12-1.0.0.jar \
  --exclude-packages org.scala-lang:scala-library \
  your-application.jar

3. 调整写入配置适配OpenSearch #

将原elasticsearch的配置路径替换为OpenSearch连接器路径，核心配置示例：

val df = spark.read.parquet("s3://your-input-path")
df.write
  .format("org.opensearch.spark.sql")
  .option("es.nodes", "your-opensearch-endpoint")
  .option("es.port", "443")
  .option("es.net.ssl", "true")
  .option("es.index.auto.create", "true")
  .option("es.resource", "your-index/_doc")
  .mode("append")
  .save()

4. 验证集群依赖一致性 #

检查EMR 6.4.0集群的Scala版本（默认是2.12.x），确保所有依赖jar均为Scala 2.12编译版本（jar名包含_2.12标识），避免混用Scala 2.11的jar包。

内容的提问来源于stack exchange，提问作者Robin