PySpark写入大型DataFrame出错及Parquet/ORC/CSV性能优化咨询

首先，你遇到的ClassNotFoundException并非单纯内存不足，本质是本地模式下同时启动三个写入任务时，JVM类加载器因资源被挤占出现冲突，导致无法加载Spark写入逻辑的相关类。串行执行三个写入任务即可解决该错误，同时结合以下方法提升写入速度：

一、调整Spark核心配置 #

• 增大本地模式的资源分配：本地模式中Driver同时承担Executor的角色，通过配置提升其内存与CPU配额。比如在启动Spark时添加参数：

  --driver-memory 8g --driver-cores 4
  

  或者在代码中动态设置：

  spark.conf.set("spark.driver.memory", "8g")
  spark.conf.set("spark.driver.cores", "4")
  

• 优化DataFrame分区数：检查df_trans的分区数量，写入前通过repartition或coalesce调整至合理值（一般为CPU核心数的2-4倍），避免过多小文件或超大文件拖慢IO：

  df_trans = df_trans.repartition(8)
  

• 启用文件压缩：Parquet、ORC默认支持压缩，可指定高效压缩算法减少IO开销；CSV也可开启压缩：

  # Parquet用snappy压缩
  df_trans.write.mode('overwrite').option("compression", "snappy").parquet('path')
  # CSV用gzip压缩
  df_trans.write.mode('overwrite').option("compression", "gzip").csv('path')
  

二、优化写入执行逻辑 #

• 串行执行写入任务：本地模式资源有限，同时运行三个任务会严重挤占资源，改为串行执行既避免类加载错误，也能保证每个任务获得足够资源：

  df_trans.write.mode('overwrite').parquet('path1')
  df_trans.write.mode('overwrite').orc('path2')
  df_trans.write.mode('overwrite').csv('path3')
  

• 复用缓存的DataFrame：如果三个写入任务基于同一份数据，先缓存DataFrame避免重复计算，写完后及时释放内存：

  df_trans.cache()
  # 执行三次写入
  df_trans.unpersist()
  

三、存储硬件优化 #

• 改用SSD存储：本地模式下，SSD的随机读写速度远高于HDD，能大幅降低写入时的IO等待时间
• 写入本地磁盘：避免将文件写入NAS等网络存储，减少网络IO带来的延迟

四、分格式专属优化 #

• Parquet/ORC：启用向量化写入（默认已开启，可确认配置），对高频过滤列启用布隆过滤器，进一步提升写入与后续读取的效率：

  # ORC布隆过滤器示例
  spark.conf.set("spark.sql.orc.bloom.filter.columns", "your_high_filter_col")
  

• CSV：关闭不必要的选项（如无需表头则去掉.option("header", "true")），使用简单分隔符减少转义开销，提升写入效率

内容的提问来源于stack exchange，提问作者OhMoh24