无法创建PySpark Session，遇目录错误求解决方案

• 配置Hadoop依赖（Windows环境必做）
  Windows下运行PySpark需要Hadoop配套工具包，下载与PySpark依赖的Hadoop版本匹配的winutils压缩包，解压后设置系统环境变量HADOOP_HOME指向解压根目录，再将%HADOOP_HOME%\bin添加到系统PATH变量中。

• 手动指定Spark临时目录
  在创建SparkSession前，通过代码指定存在且有读写权限的临时目录，示例代码：

  from pyspark.sql import SparkSession
  import os
  
  # 自定义临时目录路径
  temp_dir = "C:/tmp/spark_local"
  os.makedirs(temp_dir, exist_ok=True)
  os.environ["SPARK_LOCAL_DIRS"] = temp_dir
  
  spark = SparkSession.builder \
      .appName("DemoApp") \
      .master("local[*]") \
      .getOrCreate()
  

• 检查目录权限
  确认运行PySpark的用户对临时目录（默认是系统临时目录或配置的spark.local.dir）拥有读写权限，避免因权限不足导致目录创建失败。

• 配置Spark默认临时目录
  找到Spark安装目录下的conf/spark-defaults.conf文件（没有则复制spark-defaults.conf.template重命名），添加以下配置：

  spark.local.dir C:/tmp/spark_local
  

  确保配置的目录已创建且有权限。

内容的提问来源于stack exchange，提问作者frugwiro