Spark是否支持为溢写、外部排序、Shuffle等组件配置独立工作目录？

核心结论 #

Spark原生不支持为溢写、外部排序、Shuffle文件这三类场景分别配置独立存储目录，目前所有依赖本地磁盘的组件统一共用spark.local.dirs指定的目录集合。

具体说明 #

• spark.local.dirs覆盖了所有本地磁盘存储场景：包括RDD内存溢写文件、外部排序临时文件、Shuffle中间文件、广播变量本地缓存等。
• 若配置多个目录（用逗号分隔，比如spark.local.dirs=/ssd-path/spark,/ebs-path/spark），Spark会用轮询策略把各类文件分散到这些目录，但无法指定某类文件固定存到特定目录。

实现需求的替代方案 #

如果一定要实现“溢写/外部排序存SSD、Shuffle存EBS”的目标，可以试试这两种方法：

1. Shuffle外部存储插件（Spark 3.0+）：
   • 自定义实现ShuffleManager或者使用第三方Shuffle插件，让Shuffle文件直接写入EBS卷的独立目录，而溢写和外部排序仍用spark.local.dirs指向的SSD目录。
   • 配置时需修改spark.shuffle.manager为插件类名，并设置插件对应的存储目录参数。
2. 系统层面软链接：
   • 在节点上给spark.local.dirs下的Shuffle子目录创建软链接，指向EBS卷目录。比如把/ssd-path/spark/shuffle软链到/ebs-path/spark/shuffle。但这种方式依赖Spark内部目录结构，不同版本可能有变动，有兼容性风险。

内容的提问来源于stack exchange，提问作者ffff