SparkSession初始化耗时过长且无法成功完成，求助排查解决

1. 手动指定SparkSession的核心配置参数 #

默认的getOrCreate()可能用了过于保守的默认配置，导致资源不足或启动流程卡顿。直接在构建时指定本地模式、资源配额和必要参数：

import findspark
# 若Spark未在系统默认路径，需指定完整安装目录，比如findspark.init("/opt/spark-3.5.0-bin-hadoop3")
findspark.init()

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .master("local[*]")  # 用本地所有可用CPU核心，也可指定具体数量如local[2]
    .appName("TestInit") \
    .config("spark.driver.memory", "2g")  # 给Driver分配足够内存，避免内存不足卡死
    .config("spark.executor.memory", "1g")
    .config("spark.sql.shuffle.partitions", "4")  # 减少shuffle分区数，降低资源消耗
    .getOrCreate()

df = spark.sql("select 'spark' as hello")
df.show()

2. 确认findspark指向正确的Spark安装路径 #

如果你的Spark是手动解压或通过conda安装的非默认路径，必须在findspark.init()里写明完整路径。可以先在终端运行spark-shell，如果shell能正常启动，说明Spark本身没问题，把shell启动时显示的Spark路径填到findspark.init()里即可。

3. 检查系统资源与依赖环境 #

• 关闭后台占用大量内存/CPU的程序，确保机器有足够空闲资源
• 验证JAVA_HOME环境变量是否正确设置（Spark依赖Java 8或11），终端运行echo $JAVA_HOME（Windows用echo %JAVA_HOME%）查看
• Windows用户额外注意：必须配置HADOOP_HOME，并把对应版本的winutils.exe放到HADOOP_HOME/bin目录下，否则Spark无法正常初始化

4. 排查网络与端口干扰 #

• 本地模式下Spark会使用随机端口，关闭VPN、代理或防火墙，避免这些工具拦截本地通信
• 检查是否有其他程序占用了Spark常用端口（比如4040），可以用netstat命令查看端口占用情况

5. 确保Spark与Python版本兼容 #

pyspark版本必须和你的Spark安装包版本完全一致，比如Spark 3.5.0就安装对应版本的pyspark：

pip install pyspark==3.5.0

跨大版本混用（比如Spark 3.x配pyspark 2.x）会导致严重的兼容性问题，直接引发初始化失败。

内容的提问来源于stack exchange，提问作者winson