本地client模式运行PySpark应用的Spark内存配置咨询

首先明确你当前local[4]运行模式的核心特性：本地模式下没有独立部署的远程Executor进程，Driver调度逻辑、所有任务计算线程、Spark核心存储/执行内存都运行在同一个JVM进程内，这是网上各类矛盾说法的核心来源。

常见认知误区澄清 #

• 误区1：本地client模式无需设置driver memory
  该说法错误。默认Spark的Driver内存仅为1GB，所有collect()拉取全量数据、toPandas()转换、元数据存储、Spark UI、任务调度逻辑全部占用Driver内存，处理稍大体积的数据集就会触发JVM OOM报错。
• 误区2：使用PySpark不需要配置driver/executor memory
  该说法错误。PySpark虽然会启动独立的Python Worker进程执行Python逻辑（比如UDF、Pandas转换），这部分内存由单独参数控制，不计入JVM内存配额，但Spark核心的Shuffle数据拉取、RDD/DataFrame缓存、任务执行的堆内内存全部运行在JVM中，这部分内存配置逻辑和Scala/Java编写的Spark应用完全一致，必须根据数据量合理配置。

你当前场景的配置方法 #

纯本地local[*]模式下，不存在独立的Executor JVM进程，spark.executor.memory配置不会实际生效，Driver和执行进程共用同一个JVM堆，你只需要配置spark.driver.memory即可。如果你的代码用到大量Pandas UDF、或者需要做大规模toPandas()操作，可以额外配置Python Worker的专属内存配额。

参考配置示例（以16G物理内存的本地机器为例，总内存分配不要超过机器物理内存的70%，预留足够内存给系统、Python主进程和其他运行软件）：

from pyspark.sql import SparkSession
from pyspark.sql.types import *

spark = SparkSession \
    .builder \
    .master("local[4]")\
    .appName("q1 Tutorial") \
    .config("spark.driver.memory", "8g") \
    # 配置PySpark专属Python Worker内存，按需设置
    .config("spark.executor.pyspark.memory", "2g") \
    .getOrCreate()

补充说明 #

• 如果后续切换到集群client部署模式，才需要单独配置spark.executor.memory，此时Driver运行在你提交任务的本地机器，Executor运行在集群节点，二者内存配额完全独立。
• 如果运行时报Python worker exited unexpectedly类错误，属于Python进程内存溢出，此时调大JVM相关内存参数无效，需要调大spark.executor.pyspark.memory配额。

内容的提问来源于stack exchange，提问作者tmwmystery