PySpark无法写入文件求助：多次重装及更换环境仍报错

针对你在Windows11本地Spark3.3.1+Hadoop2.7环境中写入DataFrame报错的问题，以下是几种常见的排查和解决方法：

• 补全Hadoop的winutils依赖
  Windows环境下Spark依赖Hadoop的winutils.exe工具，Hadoop2.7需要对应版本的winutils：

  1. 下载适配Hadoop2.7的winutils.exe（注意对应32/64位系统）
  2. 将其放到你的Hadoop安装目录的bin文件夹下
  3. 配置系统环境变量：添加HADOOP_HOME指向你的Hadoop根目录，再把%HADOOP_HOME%\bin添加到系统PATH中
  4. 重启命令行或IDE后再运行代码

• 修正输出路径设置

  1. 避免使用相对路径，改用绝对路径，比如将x.write.csv('qqq')改为x.write.csv('D:/spark_output/qqq')
  2. 确保目标文件夹不存在，Spark默认不覆盖已存在的目录，若要覆盖可添加模式参数：x.write.mode('overwrite').csv('D:/spark_output/qqq')
  3. 选择有权限写入的目录，避免系统盘的受保护路径（比如C盘根目录）

• 调整Spark本地临时目录配置
  Spark运行时会生成临时文件，若默认临时目录权限不足会导致报错。初始化SparkSession时指定有权限的临时目录：

  from pyspark.sql import SparkSession
  spark = SparkSession.builder \
      .appName("write_test") \
      .config("spark.local.dir", "D:/spark_temp_files") \
      .getOrCreate()
  

  提前创建D:/spark_temp_files文件夹并确保有读写权限

• 验证Java环境配置
  Spark3.3.1要求Java版本为8或11，检查：

  1. 运行java -version确认版本符合要求
  2. 确保JAVA_HOME环境变量指向正确的Java安装目录，且已添加到系统PATH

内容的提问来源于stack exchange，提问作者VCTR