Spark独立模式Windows本地写入磁盘报错求助

核心原因 #

Spark在Windows环境下执行IO操作（写文件、转Pandas等）依赖Hadoop的Windows本地原生库（winutils.exe、hadoop.dll等），哪怕是独立模式也无法绕过这个依赖，之前的配置大概率存在版本不匹配或环境变量未生效的问题。

具体修复步骤 #

1. 匹配版本配置Hadoop本地库

   • 确认你的Spark预编译包对应的Hadoop版本（比如Spark 3.5.0通常对应Hadoop 3.3.4），下载同版本的Windows本地库包（包含winutils.exe和hadoop.dll）
   • 创建目录C:\hadoop，在该目录下新建bin文件夹，将winutils.exe和hadoop.dll放入C:\hadoop\bin
   • 设置系统环境变量：
     • 新增HADOOP_HOME变量，值为C:\hadoop
     • 将%HADOOP_HOME%\bin添加到系统Path变量的最前端（避免其他版本冲突）
   • 重启所有打开的命令行、IDE或编辑器，确保环境变量生效

2. 调整SparkSession配置
   显式指定本地文件系统配置，避免Spark自动检测Hadoop环境出错：

   import pyspark
   from pyspark.sql import SparkSession
   
   spark = SparkSession.builder \
       .config("spark.hadoop.fs.defaultFS", "file:///") \
       .config("spark.hadoop.fs.file.impl", "org.apache.hadoop.fs.LocalFileSystem") \
       .getOrCreate()
   

3. 修正文件写入路径
   确保使用Windows兼容的路径格式，推荐两种写法：

   # 方式1：带file:///前缀的URI格式
   word_counts.write.format("csv").save(r"file:///D:/temp/spark_output/datacsv")
   # 方式2：原生Windows绝对路径（用raw字符串避免转义）
   word_counts.write.format("csv").save(r"D:\temp\spark_output\datacsv")
   

   注意：路径尽量避免空格，若必须包含空格，确保用raw字符串（r前缀）包裹

4. 解决DataFrame转Pandas问题
   当Hadoop环境配置正确后，转Pandas的问题通常会自动解决。如果仍有异常，可先缓存DataFrame再转换：

   word_counts.cache()
   pd_df = word_counts.toPandas()
   

常见坑点提醒 #

• 必须保证winutils版本与Spark预编译的Hadoop版本完全一致，版本不匹配会导致各种隐性错误
• 环境变量设置后必须重启程序，否则Spark无法读取新的环境变量
• 不要将winutils放在Spark的bin目录下，必须通过HADOOP_HOME指定独立目录

内容的提问来源于stack exchange，提问作者Nabin Ghimire