Spark中User Memory（用户内存）是什么？求实例与配置解析

一、User Memory的实例演示 #

对比你提到的执行/存储内存示例，以下是典型的User Memory使用场景：

示例1：Executor端UDF中的大型本地对象 #

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

# 初始化一个包含100万条键值对的本地字典，该对象会占用User Memory
large_business_mapping = {f"code_{i}": f"desc_{i}_business" for i in range(1000000)}

@udf(returnType=StringType())
def translate_code(code):
    return large_business_mapping.get(code, "unknown")

# 应用UDF时，每个Executor进程内的large_business_mapping实例都存储在User Memory中
df = df.withColumn("code_desc", translate_code(df["biz_code"]))

示例2：Driver端的临时大型数据结构 #

# 从本地文件加载100万条参考数据，转为本地列表后存储在Driver的User Memory中
with open("large_reference_data.txt", "r") as f:
    large_ref_list = [line.strip().split(",") for line in f.readlines()]

# 转为Spark DataFrame前，large_ref_list完全占用User Memory
ref_df = spark.createDataFrame(large_ref_list, ["id", "ref_value"])

这类对象不属于Spark执行引擎的执行逻辑（如join、shuffle）或存储逻辑（如persist、cache）范畴，完全由用户代码控制生命周期，因此占用User Memory。

二、占用User Memory的大型对象类型 #

• 用户自定义本地集合：Executor或Driver端创建的超大列表、字典、数组，用于业务映射、参考数据缓存等场景。
• 第三方库本地对象：比如用pandas_udf处理数据时，Executor端生成的大型pandas.DataFrame；或是未通过Spark MLlib封装的本地机器学习模型（如自定义训练的TensorFlow小模型）。
• UDF常驻对象：UDF中初始化的全局预训练模型、固定业务规则字典等，这类对象会在Executor进程启动后长期驻留，持续占用User Memory。
• Driver端临时数据：从外部系统读取的大型配置文件、批量生成的测试数据集，在转为Spark DataFrame之前，均存储在Driver的User Memory中。

三、内存参数配置注意要点 #

1. spark.memory.fraction：默认值0.6，控制Spark内存池（执行+存储）占JVM堆内存的比例。剩余的堆内存会分配给User Memory和JVM预留内存（默认300M）。如果业务有大量大型用户自定义对象，可适当降低该值（如设为0.5），为User Memory留出更多空间。
2. JVM堆内存配合调整：User Memory是JVM堆内存的一部分，若用户内存需求大，不能只调Spark参数，需同步调大spark.driver.memory和spark.executor.memory，避免User Memory不足引发OOM。
3. 避免内存泄漏：Spark不会自动回收User Memory中的对象，需手动管理生命周期——比如及时用del释放不再使用的大对象，避免在UDF中定义全局大对象导致Executor内存持续占用。
4. spark.memory.storageFraction：该参数仅控制Spark内存池内存储内存的占比（默认0.5），与User Memory无直接关联，但执行内存和存储内存可互相挤占，若用户内存占用较高，需确保Spark内存池不要占满JVM堆，防止User Memory被挤压。

内容的提问来源于stack exchange，提问作者figs_and_nuts