PySpark高GC耗时问题求助：作业超3小时完成，计算仅需15分钟

以下是针对你遇到的高GC耗时问题的可行优化方案：

• 调整Executor与Driver内存配置
  单节点环境下，Spark默认内存分配可能未充分利用硬件资源，同时引发内存碎片化导致频繁GC：

  • 设置Executor内存：spark.executor.memory=10g（预留足够内存给系统和Driver）
  • 设置Driver内存：spark.driver.memory=4g
  • 调整内存分配比例：spark.memory.fraction=0.8（让80%的Executor堆内存用于计算和缓存），spark.memory.storageFraction=0.2（限制缓存占用的内存比例，避免挤占计算内存）

• 优化CSV读取与分区策略
  不合理的分区会导致单分区数据过大，触发频繁GC：

  • 手动指定分区数，让每个分区大小控制在200-300MB左右：

    df = spark.read.option("header", "true").csv("/path/to/file", numPartitions=20)
    

  • 手动定义Schema，避免Spark自动推断Schema带来的内存开销和GC：

    from pyspark.sql.types import StructType, StructField, StringType, IntegerType, DoubleType
    
    custom_schema = StructType([
        StructField("id", IntegerType(), nullable=True),
        StructField("name", StringType(), nullable=True),
        StructField("value", DoubleType(), nullable=True)
    ])
    df = spark.read.schema(custom_schema).option("header", "true").csv("/path/to/file")
    

• 切换JVM垃圾收集器并调整GC参数
  默认的Parallel GC在大内存场景下容易出现长时间Full GC，改用G1 GC更适合：

  • 添加Executor JVM参数：spark.executor.extraJavaOptions="-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:NewRatio=2"
    • -XX:+UseG1GC：启用G1垃圾收集器，优先处理内存碎片
    • -XX:MaxGCPauseMillis=200：限制单次GC暂停时间在200ms内
    • -XX:NewRatio=2：设置年轻代内存为堆内存的1/3，减少对象进入老年代的频率，降低Full GC次数

• 清理不必要的缓存操作
  检查代码中是否存在无意义的cache()或persist()调用：

  • 如果数据集不需要重复使用，直接移除缓存操作
  • 若必须缓存，改用磁盘存储降低堆内存压力：df.persist(pyspark.StorageLevel.DISK_ONLY)

• 优化数据处理逻辑

  • 尽早过滤数据：在读取后立即过滤掉不需要的行和列，减少后续处理的数据量：

    df = df.filter(df.value > 0).select("id", "value")
    

  • 替换高内存开销的操作：用reduceByKey替代groupByKey，减少Shuffle过程中的内存占用；同时调整Shuffle内存比例：spark.shuffle.memoryFraction=0.3，避免Shuffle内存挤占计算内存

内容的提问来源于stack exchange，提问作者amogha_sharma