如何在Databricks中配置自定义Spark Plugin及解决类找不到异常

问题根因 #

你遇到的类找不到报错由以下几个配置错误共同导致：

• 类全限定名配置不匹配：你代码中声明的包为package example，对应类的全限定名是example.CustomExecSparkPlugin，但Spark配置中你填写的是com.example.CustomExecSparkPlugin，多了com.前缀，直接导致类加载匹配失败。
• Jar包路径配置错误：你填写的/dbfs/path/to/jar没有指向具体的jar包文件名，需要补全到完整的jar包路径，例如/dbfs/plugins/jars/custom-spark-plugin_2.12-1.0.jar。
• Databricks环境类加载时机问题：Spark插件需要在SparkContext初始化阶段完成加载，早于用户手动上传的Workspace库加载时机，且集群启动初期DBFS挂载可能未完全就绪，直接配置extraClassPath读取DBFS路径会出现读取失败的情况。
• 打包依赖冲突风险：如果你打包时把Spark核心依赖（比如spark-core）打入了jar包，也会导致类加载冲突，无法正确识别插件类。

注意：打包用的Scala版本必须和集群DBR对应的Scala版本完全一致，DBR7.3对应Scala2.12，若用Scala2.11编译的jar包也会出现类加载失败问题。

正确配置步骤 #

步骤1：修正打包配置 #

确保你的Scala项目打包配置中，Spark相关依赖设置为provided范围，不要打入最终jar包，避免和Databricks集群内置的Spark依赖冲突。

步骤2：选择两种部署方式其一即可 #

方式一：直接修正Spark配置

将上传到DBFS的jar包完整路径补全后，修改集群Spark配置如下：

spark.plugins example.CustomExecSparkPlugin
spark.driver.extraClassPath /dbfs/你的jar包完整路径/xxx.jar
spark.executor.extraClassPath /dbfs/你的jar包完整路径/xxx.jar

如果调整后还是加载失败，就改用兼容性更高的方式二。

方式二：通过Init脚本加载（推荐）

1. 写一个简单的init脚本，将DBFS中的jar包拷贝到集群节点的默认Java类路径下：

#!/bin/bash
cp /dbfs/你的jar包完整路径/xxx.jar /databricks/jars/

2. 将该脚本上传到DBFS路径，比如dbfs:/plugins/init/copy-plugin-jar.sh
3. 集群高级选项中指定该Init脚本，同时Spark配置只保留插件类配置即可：

spark.plugins example.CustomExecSparkPlugin

步骤3：验证配置 #

重启集群后，如果集群成功启动，可在驱动节点日志中搜索你插件中自定义的日志内容，确认插件的driverPlugin和executorPlugin都被正确初始化。

内容的提问来源于stack exchange，提问作者FRG96