如何修复PyInstaller打包exe后出现的‘No module named pyspark’错误
解决PyInstaller打包PySpark程序出现"No module named pyspark"的问题
手动指定PySpark模块路径
打包时通过--paths参数将PySpark所在的site-packages路径传给PyInstaller,示例命令:pyinstaller --paths=C:\Python\Lib\site-packages\pyspark your_script.py替换为你实际的PySpark安装路径即可。
添加隐藏导入参数
PyInstaller可能无法自动检测到PySpark的全部依赖模块,用--hidden-import强制导入核心模块,可按需添加子模块:pyinstaller --hidden-import=pyspark --hidden-import=pyspark.sql --hidden-import=pyspark.streaming your_script.py使用.spec文件配置细致打包规则
- 先生成基础.spec文件:
pyinstaller --name your_app your_script.py - 打开生成的
your_app.spec文件,修改pathex字段加入PySpark路径:pathex=['C:\\Python\\Lib\\site-packages\\pyspark', '你的脚本所在目录'], - 在
hiddenimports列表中补充PySpark相关模块:hiddenimports=['pyspark', 'pyspark.sql', 'pyspark.context', 'pyspark.conf'], - 基于修改后的.spec文件重新打包:
pyinstaller your_app.spec
- 先生成基础.spec文件:
确保运行环境的SPARK_HOME变量正确
打包后的exe运行时需要识别Spark安装目录,目标机器需设置SPARK_HOME环境变量,并将Spark的bin目录加入PATH。若想内置Spark,可将Spark完整目录复制到exe同级目录,在脚本中手动设置:import os os.environ['SPARK_HOME'] = './spark' # 假设Spark目录与exe同路径检查版本兼容性
使用较新版本的PyInstaller(如5.x及以上),同时确保Python版本与PySpark版本匹配(如Python 3.8+对应Spark 3.x系列)。
内容的提问来源于stack exchange,提问作者Rahulk
相关产品推荐
相关产品推荐

