You need to enable JavaScript to run this app. Windows环境下PySpark可读取本地文件但无法写入DataFrame为CSV报错如何解决
优惠活动
大模型
产品
解决方案
定价
更多

Windows环境下PySpark可读取本地文件但无法写入DataFrame为CSV报错如何解决

报错原因

这个错误是Windows系统下PySpark运行环境缺失Hadoop本地适配组件导致的:
Spark底层依赖Hadoop的文件系统接口处理本地IO,写入文件时需要调用Hadoop封装的Windows本地NativeIO接口校验目录权限、管理临时写入文件,读取文件时未触发该校验逻辑所以可以正常运行,当缺失对应版本的winutils.exe和hadoop.dll适配文件时,就会抛出该UnsatisfiedLinkError链接错误。

解决方案

方案1:配置完整Hadoop Windows适配文件(推荐)

  • 确认你当前使用的Spark版本对应的Hadoop依赖版本,可在Spark安装目录的RELEASE文件中查看对应版本信息
  • 下载对应版本的Hadoop Windows二进制包,提取其中的winutils.exe和hadoop.dll文件
  • 将上述两个文件放入Spark安装目录的bin文件夹下,或者你单独安装的Hadoop目录的bin文件夹下
  • 新建系统环境变量HADOOP_HOME,值设置为你的Spark根目录或者Hadoop根目录
  • 将%HADOOP_HOME%\bin路径添加到系统Path环境变量中
  • 重启运行PySpark的终端/IDE,重新执行代码即可

方案2:临时跳过NativeIO权限校验(应急使用)

如果不想修改系统环境变量,可在创建SparkSession时添加配置跳过校验:

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("local_write_test") \
    .config("spark.hadoop.fs.file.impl", "org.apache.hadoop.fs.RawLocalFileSystem") \
    .getOrCreate()

额外排查点

  • 如果配置后仍然报错,可将hadoop.dll文件复制到C:\Windows\System32目录下,再重启终端测试
  • 写入CSV时注意目标目录不能提前存在,如需覆盖已有目录可指定写入模式:df.write.mode("overwrite").csv("sdf")

内容的提问来源于stack exchange,提问作者I.Badrooh

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.11 12:45:03