Notebook环境下使用Pandas on Spark导入外部模块的报错解决咨询

问题场景 #

在类Databricks的Jupyter Notebook环境中使用Spark 3.2+的Pandas on Spark特性时，Notebook内定义的函数可以正常通过psdf.apply()执行，但从外部Python模块导入函数时，执行器节点会抛出ModuleNotFoundError——核心原因是执行器节点无法访问驱动节点本地的外部模块文件。

最简单的解决方法 #

方法1：用spark.sparkContext.addPyFile()分发模块文件 #

直接将外部模块文件分发到所有执行器节点，让执行器可以找到并导入模块：

# 先将外部模块文件添加到Spark的全局分发列表
spark.sparkContext.addPyFile("/path/to/bar.py")

# 之后正常导入并使用函数
from bar import foo
import pyspark.pandas as ps

pyspark_df = spark.read.parquet("...")
psdf = pyspark_df.to_pandas_on_spark()
psdf.apply(lambda row: foo(row))

注意：路径需确保驱动节点可访问（比如本地路径、DBFS路径或其他分布式存储路径）。addPyFile()会自动将文件同步到所有执行器的工作目录。

方法2：使用Notebook魔法命令加载模块（类Databricks环境专属） #

如果你的环境支持%run魔法命令（如Databricks Notebook），可以直接将外部模块的代码加载到当前Notebook的命名空间，等效于在Notebook内定义函数：

# 加载外部模块文件（路径为Notebook环境内的路径，如工作区路径、DBFS路径）
%run /path/to/bar.py

import pyspark.pandas as ps

pyspark_df = spark.read.parquet("...")
psdf = pyspark_df.to_pandas_on_spark()
psdf.apply(lambda row: foo(row))

这种方式不需要额外分发文件，模块内的函数会直接被序列化传递到执行器。

方法3：打包多模块为ZIP分发（适用于复杂包结构） #

如果依赖的是多个文件组成的Python包，先将包打包为ZIP文件，再用addPyFile()分发：

spark.sparkContext.addPyFile("/path/to/your_package.zip")

from bar import foo
# 后续执行逻辑同上

内容的提问来源于stack exchange，提问作者Daniel Tan