PySpark写入CSV时触发java.lang.StackOverflowError问题求助

• 环境：Kubernetes集群，PySpark 3.1.1
• 操作：将包含240万行、130列、初始5个分区的DataFrame以CSV格式写入HDFS
• 现象：缩减数据量时正常运行，处理原数据时报错；已尝试增加分区数，问题未解决
• 代码片段：

engineered_df.cache()
engineered_df.count()
engineered_df = engineered_df.repartition(5)
engineered_df.write.csv(CommonConstants.HDFS_ENGINEERED_DATA_PATH, mode="overwrite")

• 核心报错：

Task serialization failed: java.lang.StackOverflowError

• 调整JVM栈大小参数
  序列化时栈溢出说明JVM默认栈深度不足以处理当前任务。提交Spark作业时添加以下参数：

  spark-submit \
    --driver-java-options "-Xss4m" \
    --conf spark.executor.extraJavaOptions="-Xss4m" \
    # 其他原有参数
  

  Xss4m将JVM线程栈大小设置为4MB（默认通常为1MB），可根据实际情况调整至2MB-8MB区间。

• 截断执行计划（使用Checkpoint）
  过长的DataFrame执行计划会导致序列化时栈溢出，通过checkpoint截断并持久化执行计划：

  # 设置HDFS路径作为checkpoint目录
  spark.sparkContext.setCheckpointDir("hdfs://your/checkpoint/path")
  engineered_df = engineered_df.checkpoint()
  engineered_df.repartition(5).write.csv(CommonConstants.HDFS_ENGINEERED_DATA_PATH, mode="overwrite")
  

  注：checkpoint会触发作业执行，无需额外调用count()；同时移除不必要的cache()，避免冗余内存占用和执行计划复杂度。

• 启用Kryo序列化
  Kryo序列化比默认Java序列化更高效，对复杂对象的序列化栈深度要求更低。添加配置：

  --conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
  --conf spark.kryoserializer.buffer.max=200m
  

  或在代码中配置：

  from pyspark.sql import SparkSession
  spark = SparkSession.builder \
      .appName("WriteCSV") \
      .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") \
      .config("spark.kryoserializer.buffer.max", "200m") \
      .getOrCreate()
  

• 优化分区与写入策略

  1. 取消cache()+repartition()的组合：repartition()会生成新DataFrame，原缓存无法复用，直接调整分区后写入即可。
  2. 无需打乱数据时用coalesce()替代repartition()：coalesce()不触发shuffle，执行计划更简单，适合减少分区数的场景。
  3. 调整CSV写入批处理大小：

     engineered_df.repartition(5).write \
         .option("batchSize", "10000") \
         .csv(CommonConstants.HDFS_ENGINEERED_DATA_PATH, mode="overwrite")
     

• 优化DataFrame结构
  检查是否存在大量嵌套类型（如Array、Map、Struct），这类类型会增加序列化栈深度。若业务允许，将嵌套字段扁平化，或转换为字符串类型后写入。

内容的提问来源于stack exchange，提问作者Obaid Ur Rehman