Docker容器搭建Apache Spark 3.5.2+Unity Catalog遇错误求助

一、解决delta-spark的java.lang.NoClassDefFoundError: scala/collection/IterableOnce #

核心原因是Scala版本不匹配，需严格对齐Spark、delta-spark的Scala编译版本：

• Spark 3.5.2官方支持Scala 2.12和2.13，delta-spark版本必须与Spark版本、Scala版本双向匹配：delta-spark 2.4.0+适配Spark 3.5.x，需选择与Spark编译时一致的Scala版本包（如Spark基于Scala 2.12编译，则选delta-spark_2.12；基于2.13则选delta-spark_2.13）
• 排查修复步骤：
  1. 确认Docker中Spark的Scala版本：执行spark-shell --version，查看输出中的Scala版本（例：Scala version 2.12.18）
  2. 更换对应Scala版本的delta-spark包：
     • 用Maven依赖时，指定正确后缀：io.delta:delta-spark_2.12:2.4.0（适配Spark 3.5.2 + Scala 2.12）
     • 手动下载jar时，从Maven仓库获取对应版本包，避免自行编译时选错Scala版本
  3. 清理Docker容器内旧的delta包缓存，确保新包被正确加载

二、解决Unity Catalog的java.lang.ClassNotFoundException: io.unitycatalog.client.ApiException #

问题根源是Unity Catalog客户端jar未被Spark正确加载，或构建的jar缺失依赖：

• 构建jar时需包含全部依赖：
  从Unity Catalog GitHub仓库构建时，执行maven package -DskipTests -Dmaven.shade.plugin.skip=false（或对应Gradle命令）生成含依赖的fat jar，避免只生成空壳jar
• 配置Spark加载jar包：
  1. 将构建好的Unity Catalog客户端jar放入Docker容器的Spark jars目录，或通过Spark配置指定classpath：
     在spark-defaults.conf中添加：

     spark.driver.extraClassPath /path/to/unity-catalog-client.jar
     spark.executor.extraClassPath /path/to/unity-catalog-client.jar
     

     或启动Spark时通过命令行参数指定：--jars /path/to/unity-catalog-client.jar
  2. 验证jar完整性：执行jar tf /path/to/unity-catalog-client.jar | grep io.unitycatalog.client.ApiException，能找到对应类则jar有效，否则需重新构建
• 检查Unity Catalog相关配置：确保spark.sql.catalog.unity_catalog、spark.sql.catalog.unity_catalog.type等参数配置无误，避免因参数错误间接触发类加载异常

额外验证步骤 #

1. 启动Spark Shell时添加--verbose参数，查看类加载日志，确认delta-spark和Unity Catalog的jar是否被正确加载
2. 执行目录查询前，先运行Class.forName("io.unitycatalog.client.ApiException")测试类加载是否成功

内容的提问来源于stack exchange，提问作者palamuGuy