在AWS EMR 6.14部署Apache Sedona 1.5.3(Spark3.4)遇JavaPackage调用错误

排查方向与解决方案 #

1. 强制依赖加载优先级，避免EMR默认类路径覆盖 #

EMR自带的Spark有默认类路径配置，手动指定的Jar包可能被系统路径覆盖，优先用spark.jars.packages让集群自动管理依赖：

• 在EMR集群启动时的spark-defaults.conf中添加：

  spark.jars.packages=org.apache.sedona:sedona-spark-shaded-3.4_2.12:1.5.3,org.datasyslab:geotools-wrapper:1.5.3-28.2
  

  必须同时指定匹配版本的geotools-wrapper（Sedona 1.5.3对应28.2版本），缺失这个依赖会直接导致类加载失败。
• 不要混用spark.driver.extraClassPath和spark.jars/spark.jars.packages，EMR环境下前者容易引发类路径冲突。

2. 验证Scala版本匹配性 #

EMR 6.14的Spark 3.4默认使用Scala 2.12，确认你用的Sedona包是_2.12后缀，别误选_2.13版本。可以在Spark Shell中执行以下命令验证Scala版本：

scala.util.Properties.versionNumberString

3. 确保Sedona初始化代码正确 #

虽然已移除SedonaRegistrator.registerAll的旧调用，但Spark 3.4下需用标准初始化流程，检查代码是否包含：

from sedona.register import SedonaRegistrator
from sedona.utils import SedonaKryoRegistrator, KryoSerializer

spark = SparkSession.builder \
    .config("spark.serializer", KryoSerializer.getName) \
    .config("spark.kryo.registrator", SedonaKryoRegistrator.getName) \
    .getOrCreate()

SedonaRegistrator.registerAll(spark)

注意：EMR环境中可能仍需显式执行注册代码，确保这段逻辑没有被条件判断跳过。

4. 确认Jar包在全节点的分发情况 #

• 登录EMR主节点，检查/var/lib/spark/jars目录下是否存在Sedona和geotools的Jar包，若不存在说明spark.jars.packages未生效，可能是EMR网络限制导致无法下载依赖。此时可将本地Jar包上传到S3，再通过以下配置指定路径：

  spark.jars=s3://your-bucket/path/sedona-spark-shaded-3.4_2.12-1.5.3.jar,s3://your-bucket/path/geotools-wrapper-1.5.3-28.2.jar
  

• 确保Core和Task节点能访问Jar包路径，S3路径全局可访问，本地路径需同步到所有节点。

5. 通过Spark日志定位具体缺失类 #

查看EMR控制台的Spark驱动日志，或主节点的/var/log/spark/spark-history-server.out日志，找到JavaPackage对应的具体类名（比如org.apache.sedona.sql.utils.SedonaSQLRegistrator），以此精准判断是Jar未加载还是版本不匹配。

内容的提问来源于stack exchange，提问作者James Saxon