如何用PyInstaller打包PySpark+Delta Lake脚本为EXE并解决报错

错误本质 #

该错误是打包后的环境无法正确加载PySpark的Java类导致，核心触发点：

• PyInstaller未完整打包PySpark核心依赖文件
• Delta Lake的jar包未被正确引入（动态拉取方式在打包后环境失效）
• 运行exe的环境缺少Java环境或未正确配置JAVA_HOME

具体解决步骤 #

• 确保运行环境有Java并配置环境变量

  • 安装JDK 8/11（Spark 3.x系列推荐JDK 11）
  • 配置JAVA_HOME系统环境变量，指向JDK安装根目录
  • 将%JAVA_HOME%\bin路径添加到系统PATH环境变量中

• 提前下载Delta Lake依赖jar包，放弃动态拉取

  • 从Maven仓库下载对应版本的Delta jar包：delta-spark_2.12-3.1.0.jar、delta-core_2.12-3.1.0.jar，保存到本地目录（如C:\BI\jars\）
  • 修改SparkSession构建代码，替换动态拉取配置为本地jar路径：

    spark = SparkSession \
        .builder \
        .appName("Delta with PySpark") \
        .config('spark.jars', 'C:\\BI\\jars\\delta-spark_2.12-3.1.0.jar,C:\\BI\\jars\\delta-core_2.12-3.1.0.jar') \
        .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
        .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
        .config("spark.sql.legacy.timeParserPolicy", "LEGACY") \
        .config("spark.driver.memory", "4g") \
        .config("spark.sql.warehouse.dir", "C:\\BI\\Data\\") \
        .master("local[*]") \
        .enableHiveSupport() \
        .getOrCreate()
    

• 完善PyInstaller打包命令，补充所有必要依赖
  PySpark需要打包大量核心文件，仅添加errors目录远远不够，使用以下完整命令：

  pyinstaller --onefile Job8.py ^
      --add-data "C:\BI\Program Files\Python\Python310\Lib\site-packages\pyspark;pyspark" ^
      --add-data "C:\BI\Program Files\Python\Python310\Lib\site-packages\pyspark\jars;pyspark\jars" ^
      --add-data "C:\BI\jars;." ^
      --hidden-import pyspark.sql ^
      --hidden-import pyspark.sql.session ^
      --hidden-import pyspark.sql.types ^
      --hidden-import pyspark.errors ^
      --hidden-import delta.tables ^
      --hidden-import delta.core
  

  命令说明：

  • --add-data "pyspark;pyspark"：完整打包PySpark核心代码目录
  • --add-data "pyspark\jars;pyspark\jars"：打包PySpark自带的依赖jar包
  • --add-data "C:\BI\jars;."：将本地Delta jar包打包到exe同目录
  • --hidden-import：强制引入PySpark和Delta的核心模块，避免PyInstaller自动分析遗漏

• 调整代码路径适配打包后的运行环境
  打包后的exe运行时工作目录为自身所在路径，替换硬编码路径为动态获取：

  import os
  # 动态获取日志文件路径
  log_file = os.path.join(os.path.dirname(os.path.abspath(__file__)), "gdelta_job.log")
  # 动态获取warehouse目录路径
  warehouse_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), "Data")
  

• 测试打包后的exe

  • 确认Delta jar包已被复制到exe同目录（若使用上述打包命令会自动完成）
  • 运行exe前检查JAVA_HOME环境变量是否生效
  • 运行exe后查看日志文件，验证Spark会话是否正常初始化

额外注意事项 #

• 确保版本兼容：Delta 3.1.0需搭配Spark 3.3.x/3.4.x，Python 3.10与该版本组合兼容
• 若仍出现Java类找不到的问题，可在代码中手动指定Spark安装目录：os.environ['SPARK_HOME'] = 'path/to/your/spark'，并将Spark目录添加到打包命令的--add-data参数中

内容的提问来源于stack exchange，提问作者userr