Scala在apache/zeppelin:0.7.3中import语句失效问题咨询

这问题我之前在Zeppelin的Spark环境里也碰到过，太能理解这种明明导入了却找不到类的困惑了！咱们来拆解下原因和解决办法：

问题核心原因 #

你遇到的情况本质上是导入语句的作用域没有覆盖到类定义的执行上下文。当你在%spark代码块里单独执行import语句，再在另一个代码块定义类时，Zeppelin的Spark会话可能没有把导入的类名保留在当前作用域里；或者就算在同一个代码块，有时候交互式环境的类加载逻辑会出现小偏差，导致直接引用短类名失败，但用全限定名时能精准定位到类，所以正常运行。

具体解决办法 #

1. 把导入和类定义放在同一个代码块 #

这是最稳妥的方式，确保导入语句和类定义在同一个Spark代码块里执行，让作用域完全覆盖：

%spark
import org.apache.spark.sql.expressions.UserDefinedAggregateFunction

class MyClass() extends UserDefinedAggregateFunction {
  // 必须实现UDAF的所有抽象方法
  override def inputSchema: org.apache.spark.sql.types.StructType = ???
  override def bufferSchema: org.apache.spark.sql.types.StructType = ???
  override def dataType: org.apache.spark.sql.types.DataType = ???
  override def deterministic: Boolean = ???
  override def initialize(buffer: org.apache.spark.sql.Row): Unit = ???
  override def update(buffer: org.apache.spark.sql.Row, input: org.apache.spark.sql.Row): Unit = ???
  override def merge(buffer1: org.apache.spark.sql.Row, buffer2: org.apache.spark.sql.Row): Unit = ???
  override def evaluate(buffer: org.apache.spark.sql.Row): Any = ???
}

2. 导入整个包来扩大作用域 #

如果需要拆分代码块执行，可以尝试导入整个expressions包，这样短类名就能被识别：

%spark
import org.apache.spark.sql.expressions._

// 之后在任意同会话的代码块里都能直接用UserDefinedAggregateFunction
class MyClass() extends UserDefinedAggregateFunction {
  // 实现抽象方法...
}

3. 确认Spark版本兼容性 #

虽然你用全限定名能运行，但还是可以检查下Zeppelin绑定的Spark版本，确保UserDefinedAggregateFunction确实在org.apache.spark.sql.expressions包下（Spark 2.x到3.x这个类的位置一直没变，老版本比如1.x可能有差异，但现在应该很少用到了）。

补充说明 #

这种情况在交互式Spark环境（比如Zeppelin、Spark Shell）里偶尔会出现，因为交互式会话的类加载逻辑和编译型Java/Scala项目不一样，有时候会出现作用域“丢失”的小问题。用全限定名相当于直接绕过了作用域的依赖，直接告诉JVM类的精确位置，所以能正常运行。

内容的提问来源于stack exchange，提问作者Pawel Stradowski