Spark Cluster Mode下Pandas生成的临时文件如何迁移或直写HDFS

• 第一步：定位所有存储临时文件的目标节点与文件路径
  Cluster模式下pandas写文件的逻辑是运行在executor进程内的，和driver节点的本地磁盘完全隔离，千万不要在driver节点的本地路径下找临时文件。需要先通过Spark UI定位所有承载过你pandas处理逻辑的executor对应的节点IP、工作目录，再匹配你生成的文件特征（比如固定文件名前缀、生成时间戳），找到对应临时文件的绝对路径。常见的临时文件位置多为executor的工作缓存目录、系统/tmp路径下的个人任务专属文件。
• 第二步：批量执行文件迁移
  不需要逐台登录节点手动操作，直接使用Hadoop自带的hdfs dfs命令完成跨节点传输：
  • 单节点单文件迁移命令：hdfs dfs -put file://<节点上临时文件的绝对路径> hdfs://<你的目标存储路径>/
  • 多节点散存文件可编写简单shell脚本，循环遍历已定位的节点、文件路径批量执行put操作，全程不需要把文件拉到本地中转。
• 第三步：清理节点本地临时文件
  迁移完成后，通过批量ssh命令删除各节点上留存的临时源文件，避免占用节点磁盘配额。

因为pandas原生不支持直接写入HDFS路径，实际操作中优先选兼容性高的方案避坑，可选三种实现方式，全程不需要在节点本地生成临时文件：

• 方案1（兼容性最优，零额外配置）：复用Spark原生写入通道
  不要在executor内部直接调用pandas的to_csv/to_parquet写本地路径，将pandas处理完成的结果转换为Spark DataFrame，直接用Spark原生的分布式写入方法把结果落到HDFS，示例代码：

  # 承接pandas处理完成的结果df
  processed_spark_df = spark.createDataFrame(pandas_processed_result)
  processed_spark_df.write.mode("overwrite").parquet("hdfs:///你的目标存储路径/输出目录")
  

  这种方式不需要额外配置依赖，完全适配现有集群的权限、路径规则，基本不会出现兼容问题。
• 方案2：基于PyArrow桥接HDFS读写
  借助PyArrow的Hadoop文件系统接口，直接在内存流层面把pandas的输出写入HDFS，不落本地磁盘，示例代码：

  import pyarrow.fs as pafs
  # 直接加载集群自带的HDFS配置初始化连接
  hdfs_conn = pafs.HadoopFileSystem(port=0)
  # 以输出流的方式写入HDFS，全程无本地临时文件
  with hdfs_conn.open_output_stream("/你的HDFS目标路径/输出文件.csv") as output_stream:
      pandas_processed_result.to_csv(output_stream, index=False)
  

  该方案需要保证executor节点上的PyArrow版本与集群Hadoop版本兼容。
• 方案3：管道对接HDFS写入进程
  通过子进程拉起hdfs dfs -put -命令行进程，将pandas生成的文件内容通过标准输出流直接喂给该进程，跳过本地磁盘写入环节，适配pandas必须以文件路径作为写入参数的特殊场景。

注意事项：如果采用以上方式生成的文件数量较多，写入HDFS后建议做一次文件合并，避免产生大量小文件拖慢HDFS的元数据性能。

内容的提问来源于stack exchange，提问作者Abdul Haseeb