PySpark资源配置疑问及GCS大文件读取OOM问题求助

1. 为什么Worker节点资源与Spark Executor配置不匹配？ #

Dataproc的默认配置会给节点预留部分资源给系统进程、YARN NodeManager等核心服务，避免Spark完全占满节点导致系统不稳定：

• CPU方面：默认每个Executor使用Worker节点vCPU的一半（8核→4核），这是为了给YARN和系统进程留足CPU资源，防止节点负载过高。
• 内存方面：32GB的Worker节点，会先预留约10%-20%的内存给NodeManager和系统进程，剩下的内存还要扣除Executor的堆外开销（spark.executor.memoryOverhead），最终分配给spark.executor.memory的部分就会低于节点总内存，12859m（约12.5GB）是Dataproc根据默认策略计算出的安全值。

这种资源预留是正常的默认行为，属于保守配置，确保集群稳定运行。

2. 是否需要手动配置这些参数？ #

如果你的集群没有其他额外负载，且需要更高的资源利用率，可以手动调整。推荐优先级：

• 集群创建时配置：在创建Dataproc集群时通过--properties参数设置全局配置，比如：

  gcloud dataproc clusters create my-cluster \
      --worker-machine-type n2-standard-8 \
      --num-workers 5 \
      --properties spark:spark.executor.cores=7,spark:spark.executor.memory=26g
  

• 作业提交时配置：提交作业时用--conf参数覆盖，适合单作业的特殊需求：

  gcloud dataproc jobs submit pyspark my_script.py \
      --cluster my-cluster \
      --conf spark.executor.cores=7 \
      --conf spark.executor.memory=26g
  

• SparkSession中配置：也可以在代码里设置，但仅对当前Session生效，适合测试场景：

  spark = SparkSession \
      .builder \
      .appName('my_app') \
      .config('spark.executor.cores', '7') \
      .config('spark.executor.memory', '26g') \
      .getOrCreate()
  

3. yarn.nodemanager.resource.memory-mb是否适用于PySpark？ #

适用。Dataproc是基于YARN的集群管理框架，这个参数用于设置YARN NodeManager可管理的内存总量，Dataproc会根据Worker节点的总内存自动设置该值，一般不需要手动修改。如果需要自定义节点内存预留比例，可以调整这个参数，但通常默认值足够。

4. 读取千万级JSON文件OOM的解决方法 #

大量小JSON文件会导致Spark生成过多Task，Driver需要处理海量文件元数据，容易触发OOM，可通过以下方式解决：

• 合并小文件：先将小JSON文件合并成大文件（比如Parquet格式），再进行后续处理：

  # 读取小文件后合并保存为Parquet
  spark.read.json('gs://your-bucket/path-to-small-json') \
      .repartition(100)  # 根据数据量设置合适的分区数
      .write.parquet('gs://your-bucket/path-to-merged-parquet')
  

  Parquet是列式存储，不仅文件体积更小，Spark处理时的开销也远低于JSON。
• 增大Driver内存：Driver需要管理大量文件元数据，默认内存可能不足，调整spark.driver.memory（Master节点是16GB，可设置为10GB左右）：

  # 提交作业时配置
  gcloud dataproc jobs submit pyspark my_script.py \
      --cluster my-cluster \
      --conf spark.driver.memory=10g
  

• 调整Executor内存与堆外开销：处理JSON时临时对象较多，可增大spark.executor.memory并调高spark.executor.memoryOverhead（建议设为executor内存的10%-20%）：

  --conf spark.executor.memory=26g \
  --conf spark.executor.memoryOverhead=3g
  

• 优化小文件读取配置：

  --conf spark.sql.files.maxPartitionBytes=512m  # 增大每个分区的字节数，减少分区数
  --conf spark.sql.files.openCostInBytes=1073741824  # 提高小文件的打开成本阈值，让Spark更倾向于合并小文件
  

内容的提问来源于stack exchange，提问作者FairPluto