如何从JVM导入Scala样例对象并通过Py4j在PySpark中调用

我来帮你搞定这个调用问题，之前我也踩过类似的坑，核心是得搞懂Scala的object和case object在JVM层面的暴露方式——直接用package.x.obj1肯定找不到，因为JVM里的结构和Scala语法层面的引用逻辑不一样~

问题根源 #

Scala的顶层object x会被编译成JVM中的x$类，它的单例实例是通过MODULE$这个静态字段获取的；而里面的case object obj1/obj2，则是x$类内部的嵌套类，它们的单例同样需要通过各自的MODULE$来访问，所以直接写package.x.obj1在Py4j里会找不到对应的JVM对象。

具体解决步骤 #

1. 获取顶层object x的单例实例

首先要通过Py4j网关拿到x的实例，注意要使用编译后的类名（带$后缀）加上MODULE$：

from pyspark.sql import SparkSession

# 初始化SparkSession
spark = SparkSession.builder.appName("ScalaObjectCall").getOrCreate()
# 获取Py4j网关对象
gateway = spark.sparkContext._gateway

# 替换成你实际的包名，比如你的object x在com.example包下，就写com.example.x$.MODULE$
x_instance = gateway.jvm.com.yourpackage.x$.MODULE$

2. 访问内部的case object

拿到x_instance之后，就可以直接调用obj1()/obj2()来获取对应的样例对象实例了（这里要加括号，因为Py4j会把Scala的case object成员当成无参方法处理）：

obj1 = x_instance.obj1()
obj2 = x_instance.obj2()

3. 调用目标Scala函数

假设你有一个接收这些样例对象的Scala函数（比如在Processor这个object里），就可以这样传参调用：

# 获取Processor的单例实例
processor = gateway.jvm.com.yourpackage.Processor$.MODULE$
# 调用函数，传入obj1
processor.process(obj1)

额外注意事项 #

• 确保你的Scala代码已经打包成jar包，并且在启动PySpark时通过--jars参数指定这个jar，比如：pyspark --jars your-scala-code.jar，否则Py4j会找不到对应的JVM类。
• 如果你的包名或者类名写错了，也会报“不存在”的错误，一定要仔细核对编译后的类名（Scala的object都会带$后缀）。

内容的提问来源于stack exchange，提问作者Dimitris Tzivakis -Digi-