PySpark foreach函数调用orjson模块遇ModuleNotFoundError求助

核心原因 #

collect()后的循环在Driver节点执行，你的Driver环境已经安装orjson所以运行正常；而foreach()是将任务分发到各个Executor节点执行，Executor环境中没有安装orjson。另外orjson是带C扩展的二进制模块，并非纯Python代码，所以无法通过--py-files打包分发的方式解决。

可行解决方案 #

1. 给所有Executor节点预先安装orjson #

这是最直接的方案，确保集群内每个Worker节点都安装对应版本的orjson：

• 若使用YARN等集群管理工具（如Ambari、Cloudera Manager），可通过工具批量在Worker节点执行安装；
• 手动在每个Worker节点执行：

pip install orjson

注意要保证安装时使用的Python版本和Spark运行依赖的Python版本完全一致。

2. 通过Spark配置让Executor启动时自动安装orjson #

提交作业时添加配置参数，让每个Executor在启动阶段自动pip安装orjson：

spark-submit \
  --conf spark.executorEnv.PIP_REQUIREMENTS=orjson \
  --conf spark.executorEnv.PIP_DISABLE_PIP_VERSION_CHECK=1 \
  your_spark_script.py

也可以在代码内配置SparkSession：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("OrjsonForEachTest") \
    .config("spark.executorEnv.PIP_REQUIREMENTS", "orjson") \
    .config("spark.executorEnv.PIP_DISABLE_PIP_VERSION_CHECK", "1") \
    .getOrCreate()

这种方式适合动态扩容的集群场景，无需提前在Worker节点做配置。

3. 打包包含orjson的虚拟环境分发到Executor #

如果无法直接操作Worker节点安装依赖，可在与Worker节点系统、Python版本一致的机器上制作包含orjson的虚拟环境，打包后通过Spark分发：

1. 创建并配置虚拟环境：

python -m venv spark_orjson_venv
source spark_orjson_venv/bin/activate
pip install orjson
deactivate

2. 打包虚拟环境：

zip -r spark_orjson_venv.zip spark_orjson_venv/

3. 提交作业时指定虚拟环境：

spark-submit \
  --conf spark.executorEnv.PYSPARK_PYTHON=./spark_orjson_venv/bin/python \
  --archives spark_orjson_venv.zip#spark_orjson_venv \
  your_spark_script.py

如果是YARN集群，需额外配置AppMaster的Python路径：

--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./spark_orjson_venv/bin/python

补充：为什么--py-files方案无效？ #

orjson包含编译后的二进制文件（Windows下为.pyd、Linux下为.so），这类文件和系统架构、Python版本强绑定，无法通过纯Python代码的zip包完成跨节点分发。--py-files仅适用于纯Python编写的自定义模块，对带C扩展的第三方库不生效。

内容的提问来源于stack exchange，提问作者Hoang Minh Quang FX15045