使用getOrCreate函数创建Spark Session失败，求问题排查建议

一、先定位具体报错信息 #

• 运行代码时保留完整控制台输出，查看错误堆栈。绝大多数创建失败的原因（比如依赖缺失、配置错误）都会在堆栈信息里明确标注，这是排查的核心依据。

二、修复代码结构问题 #

你的代码中logger = Log4j(spark)及后续逻辑位于if __name__ == "__main__":代码块之外，会导致即使SparkSession创建失败，代码仍会尝试调用未初始化的spark对象，触发额外错误。请将所有依赖spark的代码移到主代码块内：

from pyspark.sql import *
from pyspark import SparkConf  

from lib.logger import Log4j  
from lib.utils import get_spark_app_config  

if __name__ == "__main__":  
    conf = get_spark_app_config()  
    spark = SparkSession.builder \  
        .config(conf=conf) \  
        .getOrCreate()  

    logger = Log4j(spark)  

    logger.info("Starting HelloSpark")  
    conf_out = spark.sparkContext.getConf()  
    logger.info(conf_out.toDebugString())  

    logger.info("Finished HelloSpark")

三、排查自定义配置函数get_spark_app_config() #

• 检查该函数返回的SparkConf是否包含非法配置：比如参数名拼写错误（如spark.memory.fraction写成spark.memory.fractoin）、值类型不匹配（给需要整数的参数传了字符串）。
• 暂时用默认配置替换自定义配置，验证是否能创建Session：

  # 替换原conf相关代码
  spark = SparkSession.builder \
      .appName("TestHelloSpark") \
      .master("local[*]") \  # 本地调试用，生产环境移除
      .getOrCreate()
  

  如果默认配置能成功，说明问题出在自定义配置函数中。

四、验证基础运行环境 #

• Java版本：Spark 3.x依赖Java 8或Java 11（官方推荐版本，Java 17部分场景兼容但不保证稳定），执行java -version确认版本符合要求，同时检查JAVA_HOME环境变量是否正确设置。
• Python兼容性：Spark 3.4.x官方支持Python 3.7~3.11，若你使用的是Python 3.12，大概率存在兼容性问题，建议临时切换到Python 3.11测试。
• 环境变量：确认SPARK_HOME指向正确的Spark安装目录，PATH中包含SPARK_HOME/bin路径。

五、排查依赖冲突 #

• 检查py4j版本：PySpark自带对应版本的py4j，手动安装的高/低版本会导致冲突。执行conda list | grep py4j查看版本，若与PySpark自带版本不符，卸载手动安装的py4j。
• 重新安装PySpark：执行pip uninstall pyspark -y && pip install pyspark==你的版本号，确保包完整无损坏。

六、本地模式验证 #

如果是在集群环境运行失败，先切换到本地模式（添加.master("local[*]")）测试，排除集群资源不足、网络配置等外部因素的影响。

内容的提问来源于stack exchange，提问作者Nitin Agarwal