PySpark standalone模式下无法保存数据及DataFrame持久化方案咨询

常见原因及对应处理方案 #

• 输出路径冲突：Spark默认save操作不允许目标路径已存在，你当前的日志级别设置为WARN，路径存在的报错属于INFO级别会被屏蔽，不会显示在控制台。
  解决方案：修改写入逻辑，添加覆盖模式参数，或者提前删除目标路径
  代码示例：

  df2.write.mode("overwrite").format('json').save('final')
  

• 对输出结果的认知偏差：Spark写出的结果是名为final的文件夹，而非单个final.json文件，文件夹内包含part-xxxx前缀的实际数据文件、_SUCCESS任务成功标识文件，你可以进入final目录查看带part前缀的文件确认内容。
• 数据读取为空：如果test.json的路径填写错误，会导致读取到的df是空数据集，最终写出的结果也是空的。
  验证方案：读取数据后先打印行数确认读取成功：

  print(f"原始数据读取行数：{df.count()}")
  

• 权限不足：当前执行命令的用户对运行目录没有写入权限，可将日志级别调整为INFO查看具体报错信息：

  # 代码开头添加该行即可输出全量执行日志
  sc.setLogLevel("INFO")
  

你日志中的反射警告、Hadoop本地库加载警告、SparkUI端口占用警告都属于不影响功能的提示，和写入失败无关。

按使用场景分为两类：

1. 任务内临时缓存（同一个Spark作业中多次复用同一个DataFrame） #

使用persist()方法指定存储级别即可，避免重复计算，常用存储级别如下：

• MEMORY_ONLY：默认级别，将数据全部放在内存中，适合小体量中间结果
• MEMORY_AND_DISK：内存不足时自动溢写到磁盘，适合大体量中间结果
• MEMORY_ONLY_SER/MEMORY_AND_DISK_SER：序列化后存储，存储空间仅为原有的1/3左右，适合内存资源紧张的场景
  代码示例：

from pyspark import StorageLevel
df2.persist(StorageLevel.MEMORY_AND_DISK_SER)

2. 长期落地存储（供后续其他Spark任务/外部系统使用） #

优先按业务场景选择存储格式：

• 通用场景优先选Parquet：Spark原生支持的列式存储格式，压缩比高、查询性能优异、自动保留Schema信息，不需要额外解析适配。
  写入示例：df2.write.mode("overwrite").parquet("final_parquet")
  读取示例：spark.read.parquet("final_parquet")
• Hive生态集成选ORC：和Parquet特性接近，对Hive的兼容性更好。
• 供外部非结构化工具读取选JSON/CSV：可读性好，适合导出给非技术人员查看，缺点是存储空间大、查询性能低。
• 供业务系统查询选数据库存储：直接通过JDBC接口写入MySQL、ClickHouse、Hive等存储引擎即可。

内容的提问来源于stack exchange，提问作者romi