创建SparkSession时触发Py4JJavaError问题求助

从报错栈的关键信息org.apache.hadoop.util.Shell.checkHadoopHomeInner可以判断，问题核心是Hadoop环境变量未正确配置——Spark即使运行在本地模式，也依赖Hadoop的Shell组件，缺失Hadoop Home配置会导致初始化失败。以下是具体修复步骤：

步骤1：下载并配置Hadoop二进制包 #

• 下载与你的Spark版本兼容的Hadoop预编译二进制包（比如Spark 3.x对应Hadoop 3.x系列）
• 将包解压到本地固定目录，例如C:\hadoop-3.3.6（Windows系统）或/opt/hadoop-3.3.6（Linux/macOS）

步骤2：设置系统环境变量 #

• 添加系统环境变量HADOOP_HOME，值为上述Hadoop解压路径
• 将%HADOOP_HOME%\bin（Windows）或$HADOOP_HOME/bin（Linux/macOS）添加到系统Path变量中
• Windows额外操作：若后续出现winutils.exe缺失错误，需下载对应Hadoop版本的winutils.exe，放入%HADOOP_HOME%\bin目录下

步骤3：调整SparkSession初始化代码 #

可以在代码中显式指定Hadoop路径，同时确保findspark正确初始化Spark：

import findspark
# 若Spark未在系统Path中，需指定Spark安装路径
findspark.init("你的Spark安装根目录")

from pyspark.sql import SparkSession
import pydeequ

spark = (SparkSession
        .builder
        .config("spark.jars.packages", pydeequ.deequ_maven_coord)
        .config("spark.jars.excludes", pydeequ.f2j_maven_coord)
        # 显式指定Hadoop路径，可选，若环境变量已配置则可省略
        .config("spark.hadoop.home.dir", "你的HADOOP_HOME路径")
        .getOrCreate())

步骤4：验证配置 #

• 重启Python运行环境（或Jupyter内核）
• 先运行以下代码确认环境变量生效：

import os
print(os.getenv("HADOOP_HOME"))

你之前使用findspark.init()未解决问题，是因为它仅负责定位Spark的安装路径，无法处理Hadoop的环境配置缺失问题。

内容的提问来源于stack exchange，提问作者Leonie