Windows环境下PySpark可读取本地文件但无法写入DataFrame为CSV报错如何解决
报错原因
这个错误是Windows系统下PySpark运行环境缺失Hadoop本地适配组件导致的:
Spark底层依赖Hadoop的文件系统接口处理本地IO,写入文件时需要调用Hadoop封装的Windows本地NativeIO接口校验目录权限、管理临时写入文件,读取文件时未触发该校验逻辑所以可以正常运行,当缺失对应版本的winutils.exe和hadoop.dll适配文件时,就会抛出该UnsatisfiedLinkError链接错误。
解决方案
方案1:配置完整Hadoop Windows适配文件(推荐)
- 确认你当前使用的Spark版本对应的Hadoop依赖版本,可在Spark安装目录的
RELEASE文件中查看对应版本信息 - 下载对应版本的Hadoop Windows二进制包,提取其中的
winutils.exe和hadoop.dll文件 - 将上述两个文件放入Spark安装目录的
bin文件夹下,或者你单独安装的Hadoop目录的bin文件夹下 - 新建系统环境变量
HADOOP_HOME,值设置为你的Spark根目录或者Hadoop根目录 - 将
%HADOOP_HOME%\bin路径添加到系统Path环境变量中 - 重启运行PySpark的终端/IDE,重新执行代码即可
方案2:临时跳过NativeIO权限校验(应急使用)
如果不想修改系统环境变量,可在创建SparkSession时添加配置跳过校验:
from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("local_write_test") \ .config("spark.hadoop.fs.file.impl", "org.apache.hadoop.fs.RawLocalFileSystem") \ .getOrCreate()
额外排查点
- 如果配置后仍然报错,可将
hadoop.dll文件复制到C:\Windows\System32目录下,再重启终端测试 - 写入CSV时注意目标目录不能提前存在,如需覆盖已有目录可指定写入模式:
df.write.mode("overwrite").csv("sdf")
内容的提问来源于stack exchange,提问作者I.Badrooh
相关产品推荐
相关产品推荐

