PySpark读取分区Parquet文件过慢问题咨询

核心原因分析 #

虽然Spark的DataFrame API基于懒加载设计，但执行spark.read.load()时并非完全无操作，以下是导致问题的关键因素：

• Parquet元数据扫描开销：即使你显式指定了schema，默认配置下Spark会开启spark.sql.parquet.mergeSchema=true，它会扫描所有匹配文件的Parquet footer来验证schema一致性，1300个文件的IO累积会导致耗时剧增，同时元数据缓存会推高内存占用。
• Windows路径解析成本：你的路径包含空格（C:\Project Data），Windows系统处理这类路径时会有额外的API调用开销，批量扫描文件时会放大这个问题。
• 本地模式的IO与资源限制：本地模式下，文件扫描的IO操作无法像集群模式那样并行化优化，同时driver内存仅3G，元数据和临时缓存的占用会快速耗尽内存，引发GC或内存扩容的额外耗时。

解决办法 #

• 关闭Schema合并验证：在Spark配置中添加spark.sql.parquet.mergeSchema=false，跳过所有文件的schema验证步骤，直接使用你指定的schema：

  conf = pyspark.SparkConf()\
      .set('spark.driver.memory', '3g')\
      .set('spark.sql.parquet.mergeSchema', 'false')
  spark = (
      SparkSession.builder
      .master("local[10]")
      .config(conf=conf)
      .appName("Spark Local")
      .getOrCreate()
  )
  

• 优化文件路径：将包含空格的路径改为无空格格式（如C:\ProjectData），减少Windows文件系统的路径解析开销。
• 避免自动触发数据加载：检查你的notebook是否会自动执行df.show()、df.printSchema()或类似动作（部分Jupyter环境会自动显示DataFrame预览），这类操作会触发实际的数据加载，导致全量数据读取。仅执行df = spark.read...的赋值操作时，不应触发全量加载。
• 调整driver内存：如果内存占用仍然过高，可以适当提升spark.driver.memory（如改为4g或5g），给元数据缓存留出足够空间。

内容的提问来源于stack exchange，提问作者AYA