如何保存含向量列的PySpark DataFrame？遇Hadoop本地IO错误求助

• 严格匹配Hadoop版本与winutils
  先在PySpark里执行sc._jvm.org.apache.hadoop.util.VersionInfo.getVersion()，拿到当前Spark依赖的Hadoop准确版本号（比如3.3.1）。然后下载对应版本的winutils.exe和hadoop.dll，放到新建的Hadoop目录的bin文件夹中（比如C:\hadoop\bin）。

• 配置系统环境变量

  • 新增系统变量HADOOP_HOME，值设为你的Hadoop根目录（比如C:\hadoop）
  • 把%HADOOP_HOME%\bin添加到系统Path变量里
  • 重启Jupyter Notebook和所有命令行窗口，确保环境变量生效

• 复制hadoop.dll到系统目录
  把下载的hadoop.dll复制到C:\Windows\System32文件夹，覆盖原有文件（如果存在）。这一步容易被忽略，却是解决本地库链接问题的关键。

• 临时绕过NativeIO检查（应急方案）
  如果前面的步骤都没效果，启动SparkSession时添加以下配置，强制Hadoop使用Java实现的IO逻辑而非本地库：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder \
      .appName("FixNativeIO") \
      .config("spark.hadoop.io.native.lib.available", "false") \
      .getOrCreate()
  

  这个方法会略微降低IO性能，但能快速解决Windows下的兼容性问题。

• 验证修复效果
  先测试简单的DataFrame保存：

  test_df = spark.createDataFrame([(1, [2,3]), (2, [4,5])], ["id", "arr"])
  test_df.write.parquet("test_parquet")
  

  成功后再测试你的ML Pipeline生成的带向量列的DataFrame。

内容的提问来源于stack exchange，提问作者Muhammad Kaleem Ullah