Spark Standalone中appDataTtl过期后删除Driver工作目录是否符合预期？

咱们逐个拆解你的问题：

问题1：Spark Standalone模式下，spark.worker.cleanup.appDataTtl过期后Driver工作目录及其jar文件被删除，这是否符合预期？ #

这得分场景判断：

• 如果你的Spark应用已经运行结束（Driver进程已终止），那这个清理行为完全符合预期。spark.worker.cleanup.appDataTtl的设计初衷就是清理Worker节点上已完成应用的遗留文件，避免磁盘空间被旧数据持续占用。
• 但如果应用仍在运行中，Driver进程还存活，却被删除了工作目录和jar包，那这绝对不符合预期——大概率是Worker节点的清理逻辑出现了误判，或者参数配置的场景不匹配。

问题2：长期运行的Spark作业设置spark.cleanup.appDataTtl为3天，作业运行期间任务完成后app-xxx目录被删，3天后Driver目录被一并删除导致Driver失败，这是否符合预期？ #

这显然不符合预期，本质是对这个参数的误用：

• spark.worker.cleanup.appDataTtl是为短期、一次性运行的Spark应用设计的，用来自动清理已结束应用的垃圾文件。
• 对于长期运行的作业来说，Driver的工作目录是运行时核心依赖（比如存放作业jar包、配置文件等），Worker节点的清理逻辑误将运行中应用的Driver目录判定为“过期数据”删除，直接导致Driver无法找到依赖文件而崩溃。

针对长期作业的优化建议： #

• 直接关闭Worker自动清理：将spark.worker.cleanup.enabled设置为false。
• 如果必须保留清理（比如需要清理已完成子任务的临时文件），可以把作业依赖jar包放到外部共享存储（如HDFS、NFS）中，Driver通过加载外部存储的jar运行，避免依赖Worker本地临时目录。
• 临时方案：把spark.worker.cleanup.appDataTtl调整为远大于作业预期运行时长的值，但这只是权宜之计，不如前两种方案可靠。

内容的提问来源于stack exchange，提问作者amit pyati