Spark 3.3(Scala) UDF迁移报错：SparkSession仅可在Driver端访问

Spark 3.x 强化了Driver与Executor的职责边界，如果UDF所在类的初始化逻辑在Executor端执行，且其中包含SparkSession的创建或访问操作，就会触发该错误。Notebook中运行正常是因为代码在Driver端串行执行，类初始化不会跑到Executor；但打包成JAR后，任务分发到Executor时会初始化UDF所在类，此时访问SparkSession就违反了规则。

1. 清理UDF类的静态初始化逻辑 #

排查UDF所在类的静态代码块、静态成员变量初始化逻辑，如果有创建SparkSession、SparkContext或调用其API的代码，全部移到Driver端执行。
错误示例：

object MyUDFs {
  // 错误：静态初始化会在Executor端执行
  val spark = SparkSession.builder().getOrCreate()
  val myUDF = udf((input: String) => {
    // 内部引用了spark变量，触发Executor端访问SparkSession
    val lookupData = spark.sql("select ...").collect()
    input.toUpperCase()
  })
}

修复后代码：

object MyUDFs {
  // 仅定义UDF结构，不在静态块中依赖SparkSession
  val myUDF = udf((input: String, lookupData: Map[String, String]) => {
    // 直接使用传入的预加载数据，不访问SparkSession
    lookupData.getOrElse(input, input).toUpperCase()
  })

  // 让Driver端单独处理需要SparkSession的初始化逻辑
  def loadLookupData(spark: SparkSession): Map[String, String] = {
    spark.sql("select key, value from lookup_table")
      .collect()
      .map(row => row.getString(0) -> row.getString(1))
      .toMap
  }
}

// 主程序入口（仅在Driver端执行）
object Main {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().appName("MigrationApp").getOrCreate()
    // Driver端预加载数据
    val lookupData = MyUDFs.loadLookupData(spark)
    // 注册UDF并传入预加载数据
    spark.udf.register("myUDF", MyUDFs.myUDF(lookupData))
    // 执行SQL
    spark.sql("select myUDF(col) from target_table").show()
  }
}

2. 禁止UDF内部访问SparkSession #

UDF是运行在Executor端的分布式函数，绝对不能在UDF内部创建或访问SparkSession。如果需要依赖外部数据，改用以下方式：

• 在Driver端提前加载数据，封装为广播变量，在UDF中引用广播变量的值
• 使用Spark内置函数替代UDF中需要SparkSession的查询逻辑
• 若必须执行查询，将查询结果提前计算完成，作为参数传入UDF

3. 修正POM依赖的打包范围 #

确保Spark相关依赖设置为provided，避免打包时将Spark核心库打入JAR，导致Executor端出现类加载冲突：

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-sql_2.12</artifactId>
  <version>3.3.0</version>
  <scope>provided</scope>
</dependency>
<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.12</artifactId>
  <version>3.3.0</version>
  <scope>provided</scope>
</dependency>

4. Azure Spark Pool适配检查 #

• 确保提交JAR时指定的Spark版本与集群版本完全一致（3.3.x）
• 检查集群Executor内存配置，避免类初始化时因内存不足导致的间接错误
• 若使用自定义类加载器，保证Driver与Executor的类加载逻辑一致

内容的提问来源于stack exchange，提问作者jmarco10