Spark程序运行完成后生成spark-*、blockmgr-*目录的原因说明

两类目录的作用 #

• spark-<UUID>格式目录：是单个Spark应用对应的本地临时工作根目录，每个启动的Spark应用都会生成一个全局唯一的该类目录，用来存放应用运行全周期产生的临时文件，包括shuffle过程的中间落盘数据、广播变量本地缓存、内存不足时算子溢写的磁盘数据、运行时临时配置副本等内容。
• blockmgr-<UUID>格式目录：是Spark核心组件BlockManager（块管理器）的专属存储目录，BlockManager负责Spark集群内所有数据块的读写、分发、存储管理，这个目录下存放的是落盘的RDD缓存块、shuffle数据块、跨Executor传输的临时数据块、广播变量存储块等内容。

自动创建的原因 #

这类目录是Spark运行时的标准产物：Spark启动时会读取spark.local.dir配置项指定的本地磁盘路径作为临时存储根路径，没有手动配置该参数时会默认使用系统临时目录（比如Linux环境默认是/tmp目录），在路径下创建对应目录是为了支撑磁盘溢写、跨节点shuffle数据交换、本地数据缓存等核心运行逻辑。

正常情况下Spark应用正常退出时会自动清理这些临时目录，如果应用被强制终止、运行异常崩溃，目录会残留在磁盘上，手动删除不会影响后续Spark作业的运行。

内容的提问来源于stack exchange，提问作者ash