PySpark DataFrame保存失败：Py4JJavaError问题求助

问题重现 #

执行以下代码时触发java.lang.UnsatisfiedLinkError，仅生成空文件夹，无实际数据写入：

data=ukb_df_data("test/bulk_strings.tsv")
data.createOrReplaceTempView("synthetic_biobank1")
data.write.saveAsTable("synthetic_biobank1")

环境：PySpark 3.5.1，Windows系统，winutils.exe存放于D:\hadoop\bin

核心原因 #

该错误源于Windows下Hadoop本地依赖库缺失或配置不匹配，导致Spark无法完成文件系统的写入操作。

具体解决步骤 #

1. 匹配Hadoop与winutils版本 #

• PySpark 3.5.1对应Hadoop 3.3.x版本，确保下载的winutils是同版本Hadoop对应的编译包，避免版本不兼容。
• 将winutils.exe和配套的hadoop.dll放入D:\hadoop\bin，并把D:\hadoop\bin添加到系统环境变量PATH中。

2. 配置Spark启动环境变量 #

在启动PySpark前，设置必要环境变量：

# Windows命令行中执行
set HADOOP_HOME=D:\hadoop
set SPARK_HOME=你的Spark安装路径
set PATH=%HADOOP_HOME%\bin;%SPARK_HOME%\bin;%PATH%

若用Python脚本启动，可在代码开头添加：

import os
os.environ['HADOOP_HOME'] = 'D:\\hadoop'
os.environ['PATH'] = os.environ['HADOOP_HOME'] + '\\bin;' + os.environ['PATH']

3. 直接指定输出格式与路径 #

绕开默认表存储的配置问题，直接指定输出格式和本地路径：

# 保存为Parquet格式
data.write.mode("overwrite").parquet("D:/output/synthetic_biobank1.parquet")

# 保存为CSV格式（包含表头）
data.write.mode("overwrite").option("header", "true").csv("D:/output/synthetic_biobank1.csv")

• mode("overwrite")用于覆盖已有文件，避免重复执行时报错。
• 直接指定本地路径，无需依赖Spark默认元存储配置。

4. 验证DataFrame有效性 #

先确认读取的DataFrame包含数据：

print(data.count())
data.show(5)

若count()返回0，空文件夹属于正常现象，需排查ukb_df_data函数的TSV读取逻辑。

5. 修复本地库加载问题 #

若仍报错，将hadoop.dll复制到C:\Windows\System32目录，部分Windows系统需要此操作才能让JVM正确加载本地依赖。

内容的提问来源于stack exchange，提问作者Kunal